以下是关于上下文窗口和 tokens 限制的详细解释：
Token 方面：
Token 是大模型语言体系中的最小单元。人类语言发送给大模型时，会先被转换为大模型自己的语言，大模型推理生成答案后再翻译为人类能看懂的语言输出。
不同厂商的大模型对中文的文本切分方法不同，通常 1Token 约等于 1 2 个汉字。
大模型的收费计算方法以及对输入输出长度的限制，都是以 token 为单位计量的。
上下文方面：
上下文指对话聊天内容前、后的内容信息，其长度和窗口都会影响大模型回答的质量。
上下文长度限制了模型一次交互中能够处理的最大 token 数量，上下文窗口限制了模型在生成每个新 token 时实际参考的前面内容的范围。
目前常见模型的 token 限制：
Claude 2 100k 模型的上下文上限是 100k Tokens，即 100000 个 token。
ChatGPT 16k 模型的上下文上限是 16k Tokens，即 16000 个 token。
ChatGPT 4 32k 模型的上下文上限是 32k Tokens，即 32000 个 token。
Token 限制的影响：
对一次性输入和一次对话的总体上下文长度同时生效。
当达到上限时，不是停止对话，而是遗忘最前面的对话，类似于鱼的短暂记忆。
查看 token 使用量：
对于 GPT，可以打开查看实时生成的 tokens 消耗和对应字符数量。
需注意 GPT3 和 GPT3.5/4 的 token 计算方式不同，且英文的 Token 占用相对于中文较少，这也是很多中文长 Prompt 会被建议翻译成英文设定然后要求中文输出的原因。
Token 限制对 Prompt 编写的影响：理解前面的内容后，答案应在您的脑海中有雏形。
2024-11-15