Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

多模图生文评测集

Answer

以下是关于多模图生文评测集的相关信息：

  • 为全面比较 Kolors 与其他模型的生成能力，构建了包含人工评估、机器评估的全面评测内容。构建了包含 14 种垂类、12 个挑战项、总数量为一千多个 prompt 的文生图评估集 KolorsPrompts。在 KolorsPrompts 上，收集了 Kolors 与市面上常见的 SOTA 级别的开源/闭源系统的文生图结果，并进行了人工评测和机器评测。
    • 人工评测方面，邀请了 50 个具有图像领域知识的专业评估人员对不同模型的生成结果进行对比评估，衡量维度为画面质量、图文相关性、整体满意度三个方面。Kolors 在整体满意度方面处于最优水平，其中画面质量显著领先其他模型。具体的平均分数如下：
      • Adobe-Firefly：整体满意度平均分 3.03，画面质量平均分 3.46，图文相关性平均分 3.84。
      • Stable Diffusion 3：整体满意度平均分 3.26，画面质量平均分 3.5，图文相关性平均分 4.2。
      • DALL-E 3：整体满意度平均分 3.32，画面质量平均分 3.54，图文相关性平均分 4.22。
      • Midjourney-v5：整体满意度平均分 3.32，画面质量平均分 3.68，图文相关性平均分 4.02。
      • Playground-v2.5：整体满意度平均分 3.37，画面质量平均分 3.73，图文相关性平均分 4.04。
      • Midjourney-v6：整体满意度平均分 3.58，画面质量平均分 3.92，图文相关性平均分 4.18。
      • Kolors：整体满意度平均分 3.59，画面质量平均分 3.99，图文相关性平均分 4.17。所有模型结果取自 2024.04 的产品版本。
  • Kolors 开源模型相关：
  • 多模态大模型入门指南：
    • 训练过程：
      • 预训练阶段：通常利用 X-Text 的数据集，来训练输入、输出的 Projector。通过优化损失函数来实现不同模态的对齐。PEFT 有时候用于 LLM Backbone。X-文本数据集包含图像-文本、视频-文本和音频-文本，其中图像-文本有两种类型：图像-文本对（即<img1><txt1>）和交错图像-文本语料库（即，txt1><img1><txt2><txt3><img2><txt4>）。这些 X-Text 数据集的详细统计数据如附录 F 的表 3 所示。
      • 多模态微调：对满足指令微调格式的一系列数据集对预训练好的多模态大模型进行微调。通过这种微调，MM-LLM 可以遵循新的指令泛化到没有见过的任务，增强 zero-shot 的能力。MM IT 包括监督微调（SFT）和 RLHF 两部分，目的是为了使得模型符合人类的意图或者偏好，并且增强 MMLLMs 的交互能力。SFT 将 PT 阶段的数据转换为指令-aware 的格式，使用 QA 任务作为例子。可以采用各种模板。优化目标和预训练相同，SFT 数据可以构造为单轮的 QA 或者多轮的 QA。常用的 SFT 和 RLHF 的数据集见表 4。
Content generated by AI large model, please carefully verify (powered by aily)

References

延伸阅读

为了全面比较Kolors与其他模型的生成能力，我们构建了包含人工评估、机器评估的全面评测内容。在相关基准评测中，Kolors具有非常有竞争力的表现，达到业界领先水平。我们构建了一个包含14种垂类，12个挑战项，总数量为一千多个prompt的文生图评估集KolorsPrompts。在KolorsPrompts上，我们收集了Kolors与市面上常见的SOTA级别的开源/闭源系统的文生图结果，并进行了人工评测和机器评测。[heading3]人工评测[content]我们邀请了50个具有图像领域知识的专业评估人员对不同模型的生成结果进行对比评估，为生成图像打分，衡量维度为：画面质量、图文相关性、整体满意度三个方面。Kolors在整体满意度方面处于最优水平，其中画面质量显著领先其他模型。|模型|整体满意度平均分|画面质量平均分|图文相关性平均分||-|-|-|-||Adobe-Firefly|3.03|3.46|3.84||Stable Diffusion 3|3.26|3.5|4.2||DALL-E 3|3.32|3.54|4.22||Midjourney-v5|3.32|3.68|4.02||Playground-v2.5|3.37|3.73|4.04||Midjourney-v6|3.58|3.92|4.18||Kolors|3.59|3.99|4.17|所有模型结果取自2024.04的产品版本

工具教程：Kolors 开源模型

2024.07.03 ? Kolors在智源研究院[FlagEval多模态文生图](https://flageval.baai.ac.cn/#/leaderboard/multimodal?kind=t2i)评测中取得第二名，其中中文主观质量、英文主观质量两个单项排名第一。2024.07.02 ?祝贺，可图项目组提出的可控视频生成方法[DragAnything:Motion Control for Anything using Entity Representation](https://arxiv.org/abs/2403.07420)被ECCV 2024接收。2024.02.08 ?祝贺，可图项目组提出的生成模型评估方法[Learning Multi-dimensional Human Preference for Text-to-Image Generation](https://wangbohan97.github.io/MPS/)被CVPR 2024接收。

多模态大模型入门指南-长文慎入【持续更新】

在预训练阶段，通常利用X-Text的数据集，来训练输入，输出的Projector。通过优化损失函数来实现不同模态的对齐。PEFT有时候用于LLM Backbone。X-文本数据集包含图像-文本、视频-文本和音频-文本，其中图像-文本有两种类型：图像-文本对（即<img1><txt1>）和交错图像-文本语料库（即，txt1><img1><txt2><txt3><img2><txt4>）。这些X-Text数据集的详细统计数据如附录F的表3所示。[heading3]3.2多模态微调：[content]多模态微调是对满足指令微调格式的一系列数据集对预训练好的多模态大模型进行微调。通过这种微调，MM-LLM是可以遵循新的指令泛化到没有见过的任务，增强zero-shot的能力。这个简单而有影响力的概念促进了NLP领域后续努力的成功，例如，InstructGPT、OPT-IML、InstructBLIP。MM IT包括监督微调（SFT）和RLHF两部分，目的是为了使得模型符合人类的意图或者偏好，并且增强MMLLMs的交互能力。SFT将PT阶段的额数据转换为指令-aware的格式，使用QA任务作为例子。可以采用各种模板，例如：(1)<Image>{Question}A short answer to the question is;(2)<Image>Examine the image and respond to the following question with a brief answer:{Question}.Answer:优化目标和预训练是相同的，SFT数据可以构造为单论的QA或者多伦的QA。常用的SFT和RLHF的数据集见表4。

Others are asking
多模态应用
以下是一些多模态应用的案例： 1. 电商领域： 拍立淘：由淘宝推出，用户拍照即可识别商品并直接进入购物页面，简化购物搜索步骤。 探一下：支付宝推出的图像搜索引擎，拍照后 AI 能识别并搜索相关商品或信息。 2. 创意领域： 诗歌相机：拍照能生成一首诗，还能打印，将诗意与现代技术结合，并做成硬件形式。 3. 技术平台： 阿里云百炼大模型平台为企业侧提供各种原子级别能力，包括多模态能力。 4. 其他应用场景： 融图：如把图二中的机器人合成到图一的环境中，保持比例、细节、光影和氛围感统一。 小红书风格卡片：使用特定风格生成关于特定内容的卡片。 Logo 转 3D 效果：将图标改成 3D 立体、毛玻璃、毛绒等效果。 示意图转卡通漫画：把示意图转成幼儿园小朋友能看懂的漫画并配中文说明。 遥感理解（图像数据）：识别图中的建筑物并用色块标注。 包装图直出效果：生成图片对应的包装侧面效果图。 参考生成海报图：参考小红书封面生成 PPT 设计相关封面图。 三维建模模拟：将图片转化为 3D max 建模渲染界面并加入 UI 界面。 手办三视图：保留人物样貌、神态，制作成特定要求的 3D 手办三视图。
2025-04-18
多模态是什么，
多模态指多数据类型交互，能够提供更接近人类感知的场景。大模型对应的模态包括文本、图像、音频、视频等。 随着生成式 AI 和大模型的发展，我们逐渐进入多模态灵活转换的新时代，即能用 AI 实现文本、图像、音频、视频及其他更多模态之间的互相理解和相互转换，这一变革依靠一系列革新性的算法。 在感知不同模态数据时，AI 借助高维向量空间来理解，不再局限于传统的单一模态处理方式，将图像或文字“压缩”成抽象的向量，捕捉深层关系。 Gemini 模型本身就是多模态的，展示了无缝结合跨模态的能力，在识别输入细节、聚合上下文以及在不同模态上应用等方面表现出强大性能。
2025-04-13
多模态Agent最新动态
以下是关于多模态 Agent 的最新动态： 《质朴发言：视觉语言理解模型的当前技术边界与未来应用想象｜Z 研究第 2 期》 近期，生成式 AI 领域的浪潮催化了多模态模型的探索，研究人员不断尝试使用更多模态数据的编码，以训练出能够理解和处理多种类型数据的模型。本份研究报告集中讨论了基于 Transformer 架构的视觉语言模型，报告范围专注于视觉和语言之间的交互，不考虑单纯的视觉到视觉的计算机视觉任务。 从 2022 年 11 月 18 日到 2023 年 7 月 26 日，多模态 Agents 迅速增长。 LLM 多模态 agent 是将现有技术融合的新尝试，是一种集成了多种模态数据处理能力的 AI 技术。 优点：高度的灵活性和扩展性，可根据不同任务需求调用最合适的模型处理任务，适应多样化任务和数据类型，优化资源使用，提升效率；无需训练，系统开发周期快，成本低。 局限性：调试和工程化难度较高，维护和升级成本高；多个组件紧密耦合，单点故障可能导致整个系统风险增加；没有涌现出新的能力。 适用场景：需要综合处理视频、语音和文本等多种信息的复杂环境，如自动驾驶汽车；高度交互和灵活的用户界面，如客户服务机器人或交互式娱乐应用。 《2024 年度 AI 十大趋势报告》 随着大模型对图像和视频信息的处理能力快速提升，预计 2025 年将开始出现更为综合性的多模态交互，AI 能够通过物联网、特定信息等多种感知通道进行协同。 多模态输入和输出使 AI 交互性更强、交互频次更高，适用场景也更加丰富，AI 产品整体水平显著提升。 Agent 作为融合感知、分析、决策和执行能力的智能体，能够根据用户历史行为和偏好，主动提供建议、提醒并个性化执行能力，为用户提供高度个性化的任务。从 2025 年开始，AI Agent 即将广泛投入使用。 从个性化推荐到直接生成个性化内容，AIGC 能够使用户体验的个性化程度有明显提升，这将帮助产品进一步完善用户体验，并通过提高用户忠诚度和迁移成本，实现差异化定价和进一步的服务增值，对产品的差异化竞争有重大意义。目前，基于 AIGC 的高度个性化已经在 AI 教育、AI 陪伴、AI 营销领域有明显进展。在硬件端搭载的多款 AI 智能助手也已开始以高度个性的个人助理作为宣传重点。
2025-03-31
Qwen 多模态模型哪一个最顶？
目前阿里发布的 Qwen 多模态模型中，Qwen2.5VL 较为突出。它可处理长达数小时的视频，并在电脑上执行自动化任务。提供 3B、7B、72B 三种规模，旗舰版对标 GPT4o、Claude 3.5 Sonnet。具备全文档解析能力，支持手写、表格、图表、化学公式等多场景识别，还可操作电脑或手机界面，执行自动化任务，如点击按钮、填表等。详情可参考：https://www.xiaohu.ai/c/xiaohuai/qwen25vl285cee 。此外，Qwen2.5Max 也是阿里通义千问的大型专家模型（MoE），基于 SFT 和 RLHF 策略训练，在多项基准如 Arena Hard、LiveBench、LiveCodeBench、GPQADiamond 上超越 DeepSeek V3，引发社区关注。更多体验方式包括支持官方 Chat、API 接口、Hugging Face Demo 等，详情可参考：https://qwenlm.github.io/blog/qwen2.5max/ 、https://chat.qwenlm.ai 、https://alibabacloud.com/help/en/modelstudio/gettingstarted/firstapicalltoqwen?spm=a2c63.p38356.helpmenu2400256.d_0_1_0.1f6574a72ddbKE 、https://huggingface.co/spaces/Qwen/Qwen2.5MaxDemo 。
2025-03-25
如何构建多模态知识库？
构建多模态知识库可以参考以下步骤： 1. 图像知识库方面：通过多模态的能力对图片信息进行检索理解。效果测试时，上传一张图片，在图像数据库里找到相关信息，然后结合内容进行回复。 2. 构建图片索引： 新建结构化数据表时，将图片索引所在列的字段类型设置为 link。需注意新建数据表后，无法再新增或修改字段类型为 link。 创建结构化知识库时，对于需要建立图片索引的 link 类型字段，在旁边的下拉列表中选择图片。创建知识库后，无法再新建或修改图片索引。 3. 多模态知识库还包括构建图片型索引需结构化数据表，字段类型设置为 link，以实现 FAQ 中向用户推送图片信息。
2025-03-19
多模态达模型排行
以下是一些常见的多模态模型排行及相关信息： 1. 智谱·AI 开源模型： CogAgent18B：基于 CogVLM17B 改进的开源视觉语言模型，拥有 110 亿视觉参数和 70 亿语言参数，支持 11201120 分辨率的图像理解，在 CogVLM 功能基础上具备 GUI 图像的 Agent 能力。代码链接：。 CogVLM17B：强大的开源视觉语言模型（VLM），在多模态权威学术榜单上综合成绩第一，在 14 个数据集上取得了 stateoftheart 或者第二名的成绩。代码链接：。 Visualglm6B：开源的支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM6B，具有 62 亿参数；图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。代码链接：。 2. Gemini 模型：Gemini Ultra 在表 7 中的各种图像理解基准测试中都是最先进的，在回答自然图像和扫描文档的问题，以及理解信息图表、图表和科学图解等各种任务中表现出强大的性能。在 zeroshot 评估中表现更好，超过了几个专门在基准训练集上进行微调的现有模型，适用于大多数任务。在 MMMU 基准测试中取得了最好的分数，比最先进的结果提高了 5 个百分点以上，并在 6 个学科中的 5 个学科中超过了以前的最佳结果。 3. 多模态思维链提示方法：Zhang 等人（2023）提出了一种多模态思维链提示方法，多模态 CoT 模型（1B）在 ScienceQA 基准测试中的表现优于 GPT3.5。
2025-03-18
图生文怎么制作
以下是关于图生文制作的详细步骤： 一、Tusiart 简易上手教程 1. 定主题：明确您需要生成的图片的主题、风格和要表达的信息。 2. 选择基础模型 Checkpoint：根据主题，选择内容贴近的 checkpoint，如麦橘、墨幽的系列模型，如麦橘写实、麦橘男团、墨幽人造人等。 3. 选择 lora：基于生成内容，寻找重叠的 lora 以控制图片效果和质量，可参考广场上好看帖子中使用的 lora。 4. ControlNet：用于控制图片中的特定图像，如人物姿态、特定文字、艺术化二维码等，属于高阶技能，可后续学习。 5. 局部重绘：下篇再教。 6. 设置 VAE：无脑选择 840000 这个即可。 7. Prompt 提示词：用英文写想要 AI 生成的内容，使用单词和短语组合，用英文半角逗号隔开，无需管语法和长句。 8. 负向提示词 Negative Prompt：用英文写想要 AI 避免产生的内容，同样是单词和短语组合，用英文半角逗号隔开，无需语法。 9. 采样算法：一般选 DPM++2M Karras 较多，也可留意 checkpoint 详情页上模型作者推荐的采样器。 10. 采样次数：选 DPM++2M Karras 后，采样次数在 30 40 之间，过多意义不大且慢，过少出图效果差。 11. 尺寸：根据个人喜好和需求选择。 二、Liblibai 简易上手教程 1. 定主题：确定要生成的图片的主题、风格和表达信息。 2. 选择 Checkpoint：依照主题找贴近的 checkpoint，如麦橘、墨幽的系列模型。 3. 选择 lora：寻找与生成内容重叠的 lora 来控制图片效果和质量，参考广场上的优秀帖子。 4. 设置 VAE：无脑选 840000 那一串。 5. CLIP 跳过层：设成 2 。 6. Prompt 提示词：用英文写想要 AI 生成的内容，单词和短语组合，用英文半角逗号隔开，不管语法和长句。 7. 负向提示词 Negative Prompt：用英文写想要 AI 避免产生的内容，单词和短语组合，用英文半角逗号隔开，不管语法。 8. 采样方法：一般选 DPM++2M Karras 较多，留意 checkpoint 详情页上模型作者推荐的采样器。 9. 迭代步数：选 DPM++2M Karras 后，在 30 40 之间，过多意义不大且慢，过少出图效果差。 10. 尺寸：根据个人喜好和需求选择。 11. 生成批次：默认 1 批。 三、SD 新手入门图文教程 1. CFG Scale（提示词相关性）：决定图像与提示的匹配程度，增加该值会使图像更接近提示，但可能降低图像质量，可用更多采样步骤抵消，一般开到 7 11 ，过高会有粗犷线条和过锐化图像。 2. 生成批次：每次生成图像的组数，一次运行生成图像的数量为“批次×批次数量”。 3. 每批数量：同时生成的图像个数，增加会提高性能但需更多显存，若显存未超 12G ，保持为 1 。 4. 尺寸：指定图像长宽，出图尺寸太宽可能出现多个主体，1024 以上尺寸可能效果不理想，推荐小尺寸分辨率+高清修复（Hires fix) 。 5. 种子：决定模型生成图片时的随机性，初始化 Diffusion 算法起点的初始值，相同参数下应生成相同图片。 6. 高清修复：通过勾选“Highres.fix”启用，默认高分辨率下会生成混沌图像，使用后先按指定尺寸生成再放大，实现高清大图效果，最终尺寸为（原分辨率×缩放系数 Upscale by) 。
2025-03-11
图生文评测集
以下是关于图生文评测集的相关内容： 为全面比较 Kolors 与其他模型的生成能力，构建了包含人工评估、机器评估的全面评测内容。在相关基准评测中，Kolors 表现有竞争力，达业界领先水平。构建了包含 14 种垂类、12 个挑战项、总数量一千多个 prompt 的文生图评估集 KolorsPrompts。在 KolorsPrompts 上，收集了 Kolors 与常见 SOTA 级别开源/闭源系统的文生图结果，并进行人工评测和机器评测。 人工评测方面，邀请 50 个具有图像领域知识的专业评估人员对不同模型生成结果对比评估，衡量维度为画面质量、图文相关性、整体满意度。Kolors 在整体满意度方面最优，画面质量显著领先其他模型。具体平均分如下： |模型|整体满意度平均分|画面质量平均分|图文相关性平均分| ||||| |AdobeFirefly|3.03|3.46|3.84| |Stable Diffusion 3|3.26|3.5|4.2| |DALLE 3|3.32|3.54|4.22| |Midjourneyv5|3.32|3.68|4.02| |Playgroundv2.5|3.37|3.73|4.04| |Midjourneyv6|3.58|3.92|4.18| |Kolors|3.59|3.99|4.17| 此外，还有关于 Vidu 大家测试和 Tusiart 简易上手教程的相关信息： Vidu 全球上线，注册即刻体验。Web 端访问：https://www.vidu.studio/ ，具有极速生成（实测 30 秒最快推理速度）、动漫风格、角色可控、精准理解、大片质感等特点。同时提供了“文生视频”“图生视频（用作起始帧）”“参考人物角色生成视频”的使用指南及相关视频链接。 Tusiart 简易上手教程中，文生图的相关要点包括：提示词相关性（数字在 5 15 之间为宜）、随机种子、ADetailer（面部修复插件）、CLIP skip（设成 2 ）。
2024-12-06
图生文模型
以下是关于图生文模型的相关信息： Kolors 是一款强大的开源文生图模型，具有更强的中文文本编码器、机造的高质量文本描述、人标的高质量图片、强大的中文渲染能力，以及巧妙的 noise schedule 解决高分辨率图加噪不彻底的问题。实测效果很不错，展现了快手的技术实力。 Tripo AI 中，文生 3D 模型是用一段文字生成 3D 模型，在「Create」界面底部输入框输入提示词（不支持中文），不会写提示词可点击输入框左侧的</>按钮随机生成并自动填入。填写好提示词后点击右侧「Create」生成 3D 模型，每次生成 4 个基础模型，不满意可点击「Retry」重新生成。有满意的模型点击单个模型下方黄色的「Refine」精修，精修进度在「My Models」中查看，一般 5 分钟左右完成。图生 3D 模型是用一张图片生成 3D 模型，点击输入框右侧的图标上传图片即可生成，一次生成一个基础模型，同样支持重生成和精修。 Tusiart 文生图操作流程包括：定主题，确定生成图片的主题、风格和信息；选择基础模型 Checkpoint，找内容贴近的模型；选择 lora，寻找内容重叠的 lora 控制图片效果及质量；ControlNet 用于控制图片中特定图像；设置 VAE 无脑选择 840000；Prompt 提示词用英文写需求，单词和短语用英文半角逗号隔开；负向提示词 Negative Prompt 用英文写避免产生的内容，单词和短语组合并用英文半角逗号隔开；采样算法一般选 DPM++ 2M Karras，也可参考模型作者推荐的采样器；采样次数根据采样器特征，选 DPM++ 2M Karras 时一般在 30 40 之间；尺寸根据个人喜好和需求选择。
2024-11-13
图生文产品经理工作内容，详细一些
以下是关于图生文产品经理工作内容的详细介绍： 1. 学历与专业背景：通常要求本科及以上学历，计算机科学、人工智能、机器学习相关专业背景。 2. 工具使用与原理掌握：熟悉 ChatGPT、Llama、Claude 等 AI 工具的使用及原理，并具有实际应用经验；熟练掌握 ChatGPT、Midjourney 等 AI 工具的使用及原理。 3. 项目负责：负责制定和执行 AI 项目，如 Prompt 设计平台化方法和模板化方法。 4. 技术了解：了解并熟悉 Prompt Engineering，包括常见的 Prompt 优化策略（例如 CoT、Fewshot 等）。 5. 数据分析与决策：对数据驱动的决策有深入的理解，能够基于数据分析做出决策。 6. 创新思维：具有创新思维，能够基于业务需求提出并实践 AI first 的解决方案。 7. 前沿关注：对 AI 技术与算法领域抱有强烈的好奇心，并能付诸实践；对 AIGC 领域有深入的理解与实际工作经验，保持对 AI 技术前沿的关注。 8. 编程与算法能力：具备一定的编程和算法研究能力，能应用新的 AI 技术和算法于对话模型生成；具有一定的编程基础，熟练使用 Python、Git 等工具。 此外，从实际案例来看，产品经理还会在工作中运用 AI 工具解决实际问题，如使用 GPT 优化代码以提高工作效率和解决性能问题等。
2024-10-16
推荐免费使用的图生文的AI
以下为您推荐一些免费使用的图生文的 AI 工具： 1. Clip Interrogator：这是一款「图生文」反向工具，上传图片即可生成对应的文字描述。实测上传真实照片也可生成对应 prompt。 网址：https://replicate.com/pharmapsychotic/clipinterrogator 2. Midjourney：已实现「图生文」反向输出功能。 此外，还有一些相关的 AI 工具供您参考： 1. Pika：出色的文本生成视频 AI 工具，擅长动画制作，并支持视频编辑。 2. SVD：如果熟悉 Stable Diffusion，可以直接安装这款最新的插件，在图片基础上直接生成视频。这是由 Stability AI 开源的 video model。 3. Leonardo：能生成高质量图片，支持用户上传自己 DIY 的模型，提供丰富的模型选择，但存在访问限制。 更多相关工具和信息您可以查看：https://www.waytoagi.com/category/38 。请注意，以上内容由 AI 大模型生成，请仔细甄别。
2024-10-11
图生文功能的开源数据集有哪些？
图生文功能的开源数据集有一些，其中一个比较知名的是智源研究院 FlagEval 团队开源的ImageEvalprompt。这是一个细粒度的文生图模型测评数据集，从实体、风格、细节上拆分出 11 个评测子维度，并对 DALLE 2、Stable Diffusion、 AltDiffusionm18 、ERNIEViLG 等模型进行了对比测评。 此外，还有一些其他的开源数据集可以用于训练和评估图生文模型，但具体的选择取决于您的需求和目标。希望这个信息对您有所帮助！
2024-04-21
大模型怎么进行评测的
大模型的评测方式多种多样，以下为您介绍一些常见的评测方法和相关示例： 1. 斯坦福发布的大模型排行榜 AlpacaEval： 相对于人工标注，全自动化的 AlpacaEval 仅需花费约 1/22 的经济成本和 1/25 的时间成本。 从统计角度出发，检验什么评估数据可以最好地区分模型。 支持两种模式的模型评估方式： alpaca_eval：直接根据目标模型输出的响应来评估模型。 alpaca_eval evaluate_from_model：根据 HuggingFace 已注册模型或这 API 提供商来端到端评测模型。 评测过程分为以下 3 步： 选择一个评估集，并计算指定为 model_outputs 的输出。默认情况下，使用来自 AlpacaEval 的 805 个示例。 计算 golden 输出 reference_outputs。默认情况下，在 AlpacaEval 上使用 textdavinci003 的输出。 通过 annotators_config 选择指定的自动标注器，它将根据 model_outputs 和 reference_outputs 计算胜率。这里建议使用 alpaca_eval_gpt4 或 claude。根据不同的标注器，使用者还需要在环境配置中设定 API_KEY。 2. 小七姐的测评： 测评目标：测评三家国产大模型，以同组提示词下 ChatGPT 4.0 生成的内容做对标参照。 能力考量：包括复杂提示词理解和执行（结构化提示词）、推理能力（CoT 表现）、文本生成能力（写作要求执行）、提示词设计能力（让模型设计提示词）、长文本归纳总结能力（论文阅读）。 测评轮次：分为复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力等多轮，每轮都有不同的任务和模型测试次数。 3. LLM 开源中文大语言模型及数据集集合中的评测： FlagEval（天秤）大模型评测体系及开放平台：旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用 AI 方法实现对主观评测的辅助，大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval：构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代…），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb：中文通用大模型匿名对战评价基准，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。
2025-03-13
生图评测
以下是关于生图评测的相关内容： 评价维度： 提示词响应程度：包括语义理解，是否准确理解提示词含义并完整呈现内容；细节遵循，在细节上是否遵循提示词要求，如颜色、数量、位置等。 真实感与逼真度：物理规律是否符合，如光照、重力等；人体结构是否准确，无明显错误。 风格化能力：风格理解，是否准确理解提示词所要求的风格；风格多样性，能否生成不同风格的图片。 创意性与艺术性：美感是否符合美学原则，如构图、色彩搭配等；想象力是否能给出出乎意料的作品。 图像质量：清晰度与细节，图片是否清晰、细节是否丰富，有无模糊、噪点等影响观感的瑕疵；分辨率是否足够，是否适合不同应用场景。 案例分析： 阿强的功夫熊猫版如来神掌的 Midjourney 词力测试：目的是测词，看模型是否将功夫熊猫训练进去，并测试其角色、风格的一致性情况。不同的提示词组合产生了不同的效果，如“DreamWorks Animation,A Po Panda”词力强，动作可控；“Po Panda”有 1/4 概率出阿宝，动作自然可控等。在写绘画 prompt 时，遵循“若无必要，勿增实体”的理念，提前测试“词力”，用迭代思维写 prompt 有助于提高生图效率。 Midjourney 与 Google Imagen3 的对比测试：在画面控制力上，通过复杂的人物主体和画面要求进行测试。Imagen3 在某些场景（如充满神秘感的图书馆中女性取书的细节）的表现令人震惊，能完整还原画面内容、服饰、姿势，并兼顾构图。而 Midjourney 在多主体人物和描述词下，画面质量下降明显，如女性身材比例被压缩，某些细节未出现。
2025-03-08
大模型评测
以下是关于大模型评测的相关信息： FlagEval（天秤）大模型评测体系及开放平台： 地址： 简介：旨在建立科学、公正、开放的评测基准、方法、工具集，协助研究人员全方位评估基础模型及训练算法的性能，同时探索利用 AI 方法实现对主观评测的辅助，大幅提升评测的效率和客观性。创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval：构造中文大模型的知识评估基准： 地址： 简介：构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代…），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。此外还给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb：SuperCLUE 琅琊榜 地址： 简介：中文通用大模型匿名对战评价基准，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。他们发布了初步的结果和基于 Elo 评级系统的排行榜。 此外，还有小七姐对文心一言 4.0、智谱清言、KimiChat 的小样本测评，测评机制包括： 测评目标：测评三家国产大模型，以同组提示词下 ChatGPT 4.0 生成的内容做对标参照。 能力考量：复杂提示词理解和执行（结构化提示词）、推理能力（CoT 表现）、文本生成能力（写作要求执行）、提示词设计能力（让模型设计提示词）、长文本归纳总结能力（论文阅读）。 测评轮次：第一轮是复杂提示词理解和执行，包括 Markdown+英文 title 提示词测试、Markdown+中文 title 提示词测试、中文 title+自然段落提示词测试；第二轮是推理能力（CoT 表现）；第三轮是文本生成能力（写作要求执行）；第四轮是提示词设计能力（让模型设计提示词）；第五轮是长文本归纳总结能力（论文阅读）。 测试大模型质量好坏时，常用的问题包括检索和归纳、推理性、有日期相关历史事件等。以下是几个专业做模型测评的网站：
2025-02-17
模型评测
以下是关于模型评测的相关内容： Llama2 模型评测：为了解其中文问答能力，筛选了具有代表性的中文问题进行提问，测试了 Meta 公开的 Llama27BChat 和 Llama213BChat 两个版本，未做任何微调和训练。测试问题涵盖通用知识、语言理解等八个类别，使用特定 Prompt，测试结果见相应文档。通过测试发现，该模型对于中文问答的对齐效果一般，基于中文数据的训练和微调十分必要。 LORA 模型训练超入门级教程中的模型测试：最后从炼丹炉内取最小值的模型为最佳，在 Output 文件夹下取出模型。可用 Stable Diffusion 的 xyz 图表脚本来测试不同权重下 Lora 的表现，包括选择 x 轴、y 轴类型等操作。 斯坦福发布大模型排行榜 AlpacaEval：相对于人工标注，全自动化的 AlpacaEval 经济成本和时间成本低。还探讨了什么评估数据能最好地区分模型，以及 AlpacaEval 支持两种模式的模型评估方式，评测过程分为三步，包括选择评估集、计算输出等，并建议使用特定的自动标注器。
2025-02-11
大模型评测
以下是关于大模型评测的相关信息： 招聘信息：有大模型算法工程师/产品经理（实习）岗位在北京，工作包括大模型效果评测，要求研究生及以上学历，相关专业优先，有相关实习经验、代码能力强等。 开源评测体系及平台： FlagEval（天秤）：旨在建立科学、公正、开放的评测基准、方法、工具集，创新构建了“能力任务指标”三维评测框架。 CEval：构造了覆盖多学科的中文知识和推理型测试集，并给出主流中文 LLM 的评测结果。 SuperCLUElyb：中文通用大模型匿名对战评价基准，发布了初步结果和基于 Elo 评级系统的排行榜。 测评示例：小七姐对文心一言 4.0、智谱清言、KimiChat 进行小样本测评，包括测评机制、目标、能力考量和多轮测评任务，如复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力等，每轮测评都有不同的任务和模型参与。
2025-01-14
superclue 在国内的评测里面什么地位，国外对标的评测是什么
在国内的评测中，SuperCLUE 是大模型时代 CLUE 基准的发展和延续，聚焦于通用大模型的综合性测评。在 SuperCLUE 测评中，国外模型的平均成绩为 69.42 分，国内模型平均成绩为 65.95 分，差距在 4 分左右。国内外的平均水平差距在缩小，11 月差距在 10 分左右。 SuperCLUE 是中文语言理解测评基准 CLUE 的发展，发起于 2019 年，陆续推出了多种广为引用的测评基准。它根据多年的测评经验，构建了多层次、多维度的综合性测评基准。SuperCLUE 始终秉持中立、客观的第三方测评理念，采用自动化方式的客观评估，降低评测过程中的人为评估的不确定性。 国外对标的评测没有明确提及。
2025-01-07