ChatGPT 是通过从网络、书籍等来源获取大量人类创作的文本样本进行训练的。其基本概念相对简单，训练神经网络生成“类似”的文本，能够从“提示”开始，继续生成“类似于训练内容”的文本。
ChatGPT 中的实际神经网络由大量简单元素组成，基本操作是为每个新单词（或单词部分）生成“输入”，然后将其“通过其元素”（无循环等）。
尽管这个过程简单，但其生成的文本不仅连贯，还能遵循提示并利用所读内容。不过，它并非总能说出“全局意义上的话”或对应正确计算，只是根据训练材料中的“声音类似”说出“听起来正确”的东西。
ChatGPT 的具体工程引人入胜，在生成文本方面表现出色，结果接近人类所产生的。这表明人类语言及背后思维模式的结构比想象中更简单且更具“法律属性”，ChatGPT 已隐含发现，或许可用语义语法、计算语言等明确揭示。
但在训练方面，大脑和当前计算机的“硬件”不同，ChatGPT 需使用不同策略，且内部无“循环”或“重新计算数据”，限制了计算能力。目前尚不清楚如何解决此问题并保持训练系统效率，但未来可能让 ChatGPT 做更多“类似于大脑的事情”。
此外，还有 10 分钟手搓一个 ChatGPT 语音对话机器人的相关内容：https://b23.tv/JffIir4 。
ChatGPT的基本概念在某种程度上相当简单。从网络、书籍等来源中获取大量人类创作的文本样本。然后训练神经网络生成“类似”的文本。特别是让它能够从“提示”开始，然后继续生成“类似于训练内容”的文本。正如我们所见，ChatGPT中的实际神经网络由非常简单的元素组成，尽管有数十亿个。神经网络的基本操作也非常简单，基本上是为每个新单词（或单词部分）生成“输入”，然后将其“通过其元素”（没有任何循环等）。但是，这个过程能够产生成功地“类似于”网络、书籍等内容的文本，这是非常卓越和出乎意料的。它不仅是连贯的人类语言，而且“说的话”是“遵循其提示”的，利用其“读到”的内容。它并不总是说出“全局意义上的话”（或对应于正确的计算），因为（例如，没有访问Wolfram|Alpha的“计算超能力”）它只是根据训练材料中的“声音类似”的东西“说出”“听起来正确”的东西。ChatGPT的具体工程使其相当引人入胜。但是，最终（至少在它可以使用外部工具之前），ChatGPT仅仅从它积累的“传统智慧统计数据”中提取了一些“连贯的文本线索”。但是，其结果有多么类似于人类。正如我所讨论的，这表明了一些至少在科学上非常重要的事情：人类语言（以及背后的思维模式）的结构比我们想象的要简单和更具有“法律属性”。ChatGPT已经隐含地发现了它。但是我们可能可以用语义语法、计算语言等明确地揭示它。ChatGPT在生成文本方面的表现非常出色，结果通常非常接近我们人类所产生的。那么这是否意味着ChatGPT像大脑一样工作呢？它的基本人工神经网络结构最终是基于大脑的理想化模型的。当我们人类生成语言时，许多方面的工作似乎是相当相似的，这似乎是非常可能的。
10分钟手搓一个ChatGPT语音对话机器人https://b23.tv/JffIir4
但是，当涉及到训练（也就是学习）大脑和当前计算机的不同“硬件”（以及可能的未开发算法思想）时，ChatGPT需要使用一种可能相当不同（并且在某些方面效率远低于）大脑的策略。还有另一件事：与典型的算法计算甚至不同，ChatGPT内部没有“循环”或“重新计算数据”。这不可避免地限制了它的计算能力，甚至相对于当前的计算机，但绝对相对于大脑。目前尚不清楚如何“解决这个问题”并且仍然保持训练系统具有合理效率的能力。但是这样做可能会让未来的ChatGPT能够做更多“类似于大脑的事情”。当然，有很多大脑做得不太好的事情，尤其是涉及到相当于不可约计算的内容。对于这些问题，大脑和ChatGPT这样的东西都必须寻找“外部工具”——例如Wolfram语言。但现在看到ChatGPT已经能够做到的事情是令人兴奋的。在某种程度上，它是一个绝佳的基本科学事实，即大量简单的计算元素可以做出令人惊讶和意想不到的事情。但它也为我们在两千年内对人类语言和背后的思维过程的基本特征和原则有更好的理解提供了最好的动力。一些读书笔记张无常https://mp.weixin.qq.com/s/cpLDPDbTjarU0_PpBK_RDQ