ChatGPT 总体介绍及核心技术如下:
ChatGPT 有三个基本阶段。首先,获取与迄今为止的文本相对应的 token 序列,并找到表示它们的嵌入(即一组数字的数组)。然后在这个嵌入上进行操作,以“标准神经网络方式”,值“逐层流动”到网络的连续层中,以生成一个新的嵌入(即一个新的数字数组)。最后,从这个数组的最后一部分生成一个大约有 50,000 个值的数组,这些值将变成不同可能的下一个 token 的概率。
关键是,这个流程的每个部分都是由神经网络实现的,其权重由端到端的网络训练确定。除了整体架构外,一切都是从训练数据中“学习”的,而不是“显式设计”。
在设置体系结构方面有许多细节,首先是嵌入模块。transformers 的想法是对组成文本的 token 序列执行类似的操作,不仅定义了序列中可以存在连接的固定区域,而且引入了“注意力”的概念,以及更关注序列中的某些部分而不是其他部分的想法。ChatGPT 的总体目标是根据它所看到的训练内容(包括查看网络等数十亿页的文本),“合理地”继续文本。在任何给定的时刻,它都有一定数量的文本,目标是为下一个 token 添加一个适当的选择。
2024-09-26