以下是对大模型赛道的盘点：
Compass Arena是由上海人工智能实验室和魔搭社区联合推出的大模型测评平台，集齐了国内主流的20多款大模型，包括阿里通义千问、百度文心一言、腾讯混元、讯飞星火、字节跳动豆包、智谱AI、百川智能、零一万物、月之暗面等等，用户可在平台选择大模型的两两“对战”，实名或匿名对战皆可。三、Qwen2为什么能有如此优越的性能？通义千问技术博客披露，在Qwen1.5系列中，只有32B和110B的模型使用了GQA。这一次，所有尺寸的模型都使用了GQA，以便让用户体验到GQA带来的推理加速和显存占用降低的优势。针对小模型，由于embedding参数量较大，研发团队使用了tie embedding的方法让输入和输出层共享参数，增加非embedding参数的占比。上下文长度方面，所有的预训练模型均在32K tokens的数据上进行训练，研发团队发现其在128K tokens时依然能在PPL评测中取得不错的表现。然而，对指令微调模型而言，除PPL评测之外还需要进行[大海捞针](https://github.com/gkamradt/LLMTest_NeedleInAHaystack)等长序列理解实验。在使用YARN这类方法时，Qwen2-7B-Instruct和Qwen2-72B-Instruct均实现了长达128K tokens上下文长度的支持。
好的，最后，我想向你展示当前领先的大型语言模型的排行榜。例如，这就是聊天机器人竞技场。它由伯克利的一个团队管理。他们在这里所做的是根据ELO评级对不同的语言模型进行排名。计算ELO的方式与国际象棋中的计算方式非常相似。所以不同的棋手互相对弈。根据彼此的胜率，你可以计算他们的ELO分数。你可以使用语言模型做完全相同的事情。所以你可以访问这个网站，输入一些问题，你会得到两个模型的响应，你不知道它们是由什么模型生成的，然后你选择获胜者。然后根据谁赢谁输，你就可以计算出ELO分数。所以越高越好。所以你在这里看到的是，拥挤在顶部的是专有模型。这些是封闭模型，你无法访问权重，它们通常位于网络界面后面。这是OpenAI的GPT系列，以及Anthropic的Claude系列。还有其他公司的一些其他系列。所以这些是目前表现最好的模型。然后就在其下方，你将开始看到一些开放权重的模型。因此，这些权重是可用的，人们对它们有更多了解，通常有相关论文可用。例如，Meta的Llama2系列就是这种情况。或者在底部，你可以看到Zephyr 7b Beta，它基于法国另一家初创公司的Mistral系列。
变革归变革，那么作为产品人，我们该怎么去把ai这个能力用起来呢？我认为转变自己的“传统”产品设计思路和视角，是最关键的一步。其实我前段时间我在一个仅面向产品经理的公众号中，读到一篇对大模型发展未来表达看法的文章。文章的开篇，就表达了认为大模型应用是在内容、电商、o2o、工具之外的第五条赛道，且当前是否够资格成为“第五条赛道”都有待商榷。在该文章的评论区下，我建议作者先去了解下大模型的基础原理以及当前的技术发展状况。当时之所以这样说，只是因为我觉得许多产品同学实际上并未真正意识到这次大模型所带来的变革，所以他们的思路和视角，依然停留在传统互联网商业模式上，仍然认为此次的变革只是在传统的基础之上做更新。但上面我们也说了，这次的ai变革是从互联网最底层的if-else逻辑开始的，而那些传统互联网的商业模式，只是基于传统的互联网技术架构和用户需求综合出来的产物。