现在大语言模型的跑分对比

对比不同大型语言模型的性能需要考虑多个维度，包括但不限于以下几个方面：1.理解能力：评估模型对语言的理解程度，包括对语法、语义、上下文和隐含意义的理解。2.生成质量：检查模型生成的文本的质量，包括文本的流畅性、相关性和准确性。3.知识广度和深度：评估模型对广泛主题的知识掌握程度，以及它对特定领域或话题的理解深度。4.泛化能力：测试模型在处理未见过的任务或数据时的表现，这反映了模型的泛化能力。5.鲁棒性：检查模型对错误输入、对抗性输入或模糊不清的指令的应对能力。6.偏见和伦理：评估模型生成文本时是否存在偏见，以及模型是否遵循伦理标准。7.交互性和适应性：评估模型在交互环境中的表现，包括对用户反馈的适应性和持续对话的能力。8.计算效率和资源消耗：考虑模型的大小、训练和运行所需的计算资源。9.易用性和集成性：评估模型是否易于集成到不同的应用和服务中，以及提供的API和工具的易用性。为了进行有效的比较，可以采用以下方法：标准基准测试：使用标准的语言模型评估基准，如GLUE、SuperGLUE、SQuAD等，这些基准提供了统一的测试环境和评分标准。自定义任务：根据特定需求设计任务，以评估模型在特定领域的表现。人类评估：结合人类评估者的主观评价，特别是在评估文本质量和伦理问题时。A/B测试：在实际应用场景中，通过A/B测试比较不同模型的表现。性能指标：使用包括准确率、召回率、F1分数、BLEU分数等在内的性能指标来量化比较。

我想提的另一件事是，我之前天真地描述了人类完成所有这些体力工作的过程。但这并不完全正确，而且它越来越不正确。这是因为这些语言模型同时变得更好。你基本上可以使用人机协作来创建这些标签，随着效率和正确性的提高。例如，你可以使用这些语言模型来获取示例答案。然后人们会挑选部分答案来创建一种单一的最佳答案。或者你可以要求这些模型尝试检查你的工作。或者你可以尝试让他们进行比较。然后你就像是一个监督角色。所以这是一种你可以确定的滑块。而且这些模型越来越好。我们正在将滑块向右移动。比较、标记文档、RLHF、合成数据、排行榜好的，最后，我想向你展示当前领先的大型语言模型的排行榜。例如，这就是聊天机器人竞技场。它由伯克利的一个团队管理。他们在这里所做的是根据ELO评级对不同的语言模型进行排名。计算ELO的方式与国际象棋中的计算方式非常相似。所以不同的棋手互相对弈。根据彼此的胜率，你可以计算他们的ELO分数。你可以使用语言模型做完全相同的事情。所以你可以访问这个网站，输入一些问题，你会得到两个模型的响应，你不知道它们是由什么模型生成的，然后你选择获胜者。然后根据谁赢谁输，你就可以计算出ELO分数。所以越高越好。所以你在这里看到的是，拥挤在顶部的是专有模型。这些是封闭模型，你无法访问权重，它们通常位于网络界面后面。这是OpenAI的GPT系列，以及Anthropic的Claude系列。还有其他公司的一些其他系列。所以这些是目前表现最好的模型。然后就在其下方，你将开始看到一些开放权重的模型。因此，这些权重是可用的，人们对它们有更多了解，通常有相关论文可用。例如，Meta的Llama2系列就是这种情况。或者在底部，你可以看到Zephyr 7b Beta，它基于法国另一家初创公司的Mistral系列。

encoder-only:这些模型通常适用于可以自然语言理解任务，例如分类和情感分析.最知名的代表模型是BERTencoder-decoder:此类模型同时结合了Transformer架构的encoder和decoder来理解和生成内容。该架构的一些用例包括翻译和摘要。encoder-decoder的代表是google的T5decoder-only:此类模型更擅长自然语言生成任务。典型使用包括故事写作和博客生成。这也是我们现在所熟知的众多AI助手的结构我们目前耳熟能详的AI助手基本都来自左侧的灰色分支,当然也包括ChatGPT。这些架构都是根据谷歌2017年发布的论文“attention is all you need”中提出的transformer衍生而来的，在transformer中，包括Encoder，Decoder两个结构目前的大型语言模型就是右侧只使用Decoder的Decoder-only架构的模型大模型又大在哪呢？第一，大模型的预训练数据非常大，这些数据往往来自于互联网上，包括论文，代码，以及可进行爬取的公开网页等等，一般来说，现在最先进的大模型一般都是用TB级别的数据进行预训练。第二，参数非常多，Open在2020年发布的GPT-3就已经达到170B的参数在GPT3中，模型可以根据用户输入的任务描述，或给出详细的例子，完成任务但这与我们熟知的ChatGPT仍然有着很大的差距，使用ChatGPT只需要像和人类一样对话，就可以完成任务。除了形式上的不同之外，还有一个更加重要的差距，那就是安全性上的差别。