在 AI 生成中,对于英文文本,1 个 Token 大约相当于 4 个字符或 0.75 个单词。以中文为例,由于不同厂商的大模型采用了不同的文本切分方法,通常情况下 1 Token 约等于 1 2 个汉字。在 ChatGPT 4 中,“Learning AI Meticulously,Sharing Knowledge Joyfully”这句话被视为 10 个 Token,标点符号单独计算,“Joyfully”被拆分成“Joy”和“fully”。您可以查看 OpenAI 的分词器工具来了解更多关于文本如何转换为 Token 的信息。
2025-03-18