chatgpt训练

ChatGPT的基本概念在某种程度上相当简单。从网络、书籍等来源中获取大量人类创作的文本样本。然后训练神经网络生成“类似”的文本。特别是让它能够从“提示”开始，然后继续生成“类似于训练内容”的文本。正如我们所见，ChatGPT中的实际神经网络由非常简单的元素组成，尽管有数十亿个。神经网络的基本操作也非常简单，基本上是为每个新单词（或单词部分）生成“输入”，然后将其“通过其元素”（没有任何循环等）。但是，这个过程能够产生成功地“类似于”网络、书籍等内容的文本，这是非常卓越和出乎意料的。它不仅是连贯的人类语言，而且“说的话”是“遵循其提示”的，利用其“读到”的内容。它并不总是说出“全局意义上的话”（或对应于正确的计算），因为（例如，没有访问Wolfram|Alpha的“计算超能力”）它只是根据训练材料中的“声音类似”的东西“说出”“听起来正确”的东西。

使用现代GPU硬件，可以并行计算数千个示例的结果。但是，当涉及实际更新神经网络中的权重时，目前的方法基本上要求一次一批地执行此操作。（是的，这可能是实际的大脑将计算和内存元素相结合的优势。)即使在我们之前讨论过的学习数值函数的看似简单的情况下，我们发现通常需要使用数百万个示例才能成功训练网络，至少是从头开始。那么，为了训练一个“类人类语言”的模型，需要多少示例呢？理论上似乎没有任何根本的方式可以知道。但是在实践中，ChatGPT成功地从数百万亿字的文本中进行了训练。一些文本会被重复使用多次，而其他文本只会使用一次。但是，它以某种方式从看到的文本中“得到了它所需的”。但是，考虑到这么多的文本进行训练，需要多大的网络才能“很好地学习它”呢？同样，我们还没有根本的理论。最终——正如我们将在下面进一步讨论的——人类语言及其典型使用可能存在一定的“算法”。但是，下一个问题是，神经网络在实现基于该算法内容的模型时有多么高效；我们还不知道，尽管ChatGPT的成功表明它相当有效。

但是，当涉及到训练（也就是学习）大脑和当前计算机的不同“硬件”（以及可能的未开发算法思想）时，ChatGPT需要使用一种可能相当不同（并且在某些方面效率远低于）大脑的策略。还有另一件事：与典型的算法计算甚至不同，ChatGPT内部没有“循环”或“重新计算数据”。这不可避免地限制了它的计算能力，甚至相对于当前的计算机，但绝对相对于大脑。目前尚不清楚如何“解决这个问题”并且仍然保持训练系统具有合理效率的能力。但是这样做可能会让未来的ChatGPT能够做更多“类似于大脑的事情”。当然，有很多大脑做得不太好的事情，尤其是涉及到相当于不可约计算的内容。对于这些问题，大脑和ChatGPT这样的东西都必须寻找“外部工具”——例如Wolfram语言。但现在看到ChatGPT已经能够做到的事情是令人兴奋的。在某种程度上，它是一个绝佳的基本科学事实，即大量简单的计算元素可以做出令人惊讶和意想不到的事情。但它也为我们在两千年内对人类语言和背后的思维过程的基本特征和原则有更好的理解提供了最好的动力。一些读书笔记张无常https://mp.weixin.qq.com/s/cpLDPDbTjarU0_PpBK_RDQ