ChatGPT 的基本原理如下:
1. 数据获取:从网络、书籍等来源获取大量人类创作的文本样本。
2. 训练神经网络:通过训练神经网络生成“类似”的文本。神经网络由简单元素组成,操作基本是为每个新单词(或单词部分)生成“输入”,然后将其“通过其元素”。
3. 生成文本:能够从“提示”开始,然后继续生成“类似于训练内容”的文本。具体方式是把自己生成的下一个词,和之前的上文组合成新的上文,再生成下一个词,不断重复以生成任意长的下文,此过程称为自回归生成。
4. 训练目的:训练的主要目的不是记忆,而是学习以单字接龙的方式来训练模型,学习提问和回答的通用规律,以便在遇到没记忆过的提问时,能利用所学规律生成用户想要的回答,这种能力也叫做泛化。
5. 模型特点:ChatGPT 被称为生成模型,与搜索引擎不同,它可以创造不存在的文本。但它也存在缺点,可能混淆记忆,无法直接查看和更新所学,且高度依赖学习材料,导致缺乏及时性和准确性。
ChatGPT 中的 GPT 是 Generative PreTraining Transformer,即生成式预训练转换器。其本质功能是“单字接龙”,长文由单字接龙的回归所生成。
ChatGPT 的成功表明人类语言(以及背后的思维模式)的结构比我们想象的要简单和更具有“法律属性”。但它并不总是说出“全局意义上的话”或对应于正确的计算,只是根据训练材料中的“声音类似”的东西“说出”“听起来正确”的东西。
当我们人类生成语言时,许多方面的工作与 ChatGPT 似乎相当相似。但 ChatGPT 最终(至少在它可以使用外部工具之前),仅仅从它积累的“传统智慧统计数据”中提取了一些“连贯的文本线索”。
2024-11-14