100 万 tokens 具有以下重要意义和影响:
算法视角:更宽的上下文窗口允许模型在推理时纳入训练数据中未找到的大量新的、特定于任务的信息,从而提高各种自然语言或多模式任务的性能。对越来越长的上下文进行数据建模的能力经历了从 Shannon 1948 提出的 2gram 语言模型、到 1990 年代和 2000 年代的现代 ngram 模型(5 个上下文 token),2010 年代的循环神经网络(RNN)达到数百个 token(Jozefowicz 等),到 2023 年 Anthropic 将上下文扩展到几十万 token 的发展历程。
产品视角:长上下文意味着 LLM 理解能力增强。从提示词到 RAG,都是为了增加给模型的上下文,进而让需求更明确,让模型理解得更好。从用数据训练模型、到指令微调,到提示词和 RAG,到大模型的超长下文,机器越来越像人了。提示词和 RAG 正在快速被弱化,但出于工程和商业考量,目前在很多领域还是主流,未来依然可能是一个混合状态。模型上下文长度覆盖了书籍、电影、长视频等产品的通用长度,应该会引发相关链路上产品交互层的变化。
具体应用:Gemini1.5 支持 100 万 token,可以一次性处理大量信息,比如 1 小时的视频,11 小时的音频,超过 30,000 行代码或超过 700,000 个单词的代码库。Claude2100 k 模型的上下文上限是 100k Tokens,即 100000 个 Token。ChatGPT16 k 模型的上下文上限是 16k Tokens,即 16000 个 Token;ChatGPT432 k 模型的上下文上限是 32k Tokens,即 32000 个 Token。Token 限制同时对一次性输入和一次对话的总体上下文长度生效,当达到上限时,会遗忘最前面的对话。若想直观查看 GPT 如何切分 token,可以打开。此外,英文的 Token 占用相对于中文较少,因此很多中文长 Prompt 会被建议翻译成英文设定,然后要求中文输出。
2025-01-28