GPT 于 2022 年 11 月底，随着 OpenAI 的 ChatGPT 横空出世而大火。在此之前，2018 年 OpenAI 将转换器模型与无监督学习相结合推出了 GPT，经过两年多的迭代，2020 年初推出 GPT-3，2022 年底通过人类反馈的强化学习技术优化出 InstructGPT（即 GPT-3.5），之后 OpenAI 在山姆·奥特曼的推动下，顶着巨大压力对公众开放了 ChatGPT，开启了新的智能时代。
“我认为生成式AI革命在规模上可以与工业革命或电的发明相提并论。” -神经网络之父Geoffrey Hinton去年离职Google后在接受CBS采访时提到。2022年十一月底OpenAI的ChatGPT横空出世，原本被通胀和加息折磨得萎靡不振的美股，突然被新一轮的生成式AI革命给原地托起。除了Nvidia卖GPU带来了真实收入暴增之外，大多数的热情并非来自于收入增长，而是由于大家急于构建更大的AI模型，热情来自于对未来业务的梦想。大多数公司心目中明确的目标就是赶上OpenAI，甚至超越它，尤其是美股的科技七巨头（Magnificent Seven）。
大语言模型背后的突破，来自于Google的研究团队在2017年发明了转换器架构（Transformer），这种神经网络可以跟踪每个单词或短语在序列中出现的位置。2018年，OpenAI果断地将转换器模型与无监督学习相结合，推出了GPT，这是一种在未标注的数据上预训练模型的方法，让程序可以自己找出数据中的模式。在此之前的机器学习大多依赖于监督学习和标注数据，但手动标记是一项非常缓慢的工作，因此限制了可用于训练的数据集的大小。Ilya Sutskever领导的OpenAI研究团队很执着的确信，用Transformer可以并行计算的架构和无监督学习的方式，只要增加算力和数据规模就能训练出更好的模型，从而通向通用人工智能（AGI）。经过两年多的迭代，在2020年初用API的方式推出了GPT-3，然后于2022年底通过人类反馈的强化学习的技术（RLHF）优化出了InstructGPT，也就是GPT-3.5，很好地减少了GPT-3产生的错误信息和冒犯性文本的数量。配图1.04：Alignment步骤解释InstructGPT更善于遵循人类的指示，在AI术语中被称为对齐（Alignment），可以让模型的输出更加安全，错误、幻觉和攻击性语言更少。简而言之，InstructGPT不是一个混蛋，除非它被要求成为一个混蛋。在所有这些成果之上，OpenAI在山姆·奥特曼的推动下，顶着巨大的压力对公众开放了ChatGPT。至此，一个新的智能时代就被开启了！人才网络
2023年是大模型澎湃发展的一年：从22年11月ChatGPT的惊艳面世，到23年3月GPT4作为“与AGI（通用人工智能）的第一次接触”，到23年末多模态大模型的全面爆发，再到刚刚面世的Sora再次震惊世界。大模型给了世界太多的惊喜、惊讶、迷茫、甚至恐惧。有人问我：“AGI的出现可以和人类哪次发现/发明相比？”“大概是人类开始使用‘火’的时刻。万有引力、iPhone什么的都不值一提。”就像我在去年4月份文章中写的——在AGI和任何新事物的出现的时候：我们总是倾向于高估它的短期，但却低估它的长期。（前文[《AGI|高估的短期与低估的长期》](http://mp.weixin.qq.com/s?__biz=MzIwMTE0MDIwMA==&mid=2247484405&idx=1&sn=5e5c3104511adedad247d23149b14a80&chksm=96f33172a184b8647e786bf57685eb8e085e0f3f1e91aa3be797b49708b82135f41088959e2b&scene=21#wechat_redirect)）目前正是这个大趋势的真实写照：