国内外大模型测评

以下是关于用 AI 做职业测评的相关信息： 职业规划导师（校招版）功能： 1. 职业趋势分析：基于最新市场数据和行业报告，协助用户分析自身专业或职业的前景，助其了解未来职业趋势。 2. 技能评估与提升：通过测评工具评估用户当前职业兴趣，提供针对性学习资源和课程建议，帮助提升专业技能。 3. 职业匹配与推荐：根据用户兴趣、技能和职业目标，推荐适合的职业路径和职位，提供个性化职业建议。 4. 职业发展规划：结合用户个人情况和市场需求，制定详细的职业发展计划，包括短、中、长期目标，帮助用户在 AI 时代找到职业定位。 后续使用场景及商业化前景： 1. 学生和应届毕业生： 职业选择和规划：了解 AI 技术在不同职业中的应用，评估兴趣和技能，选择合适路径并制定规划。 技能提升：根据职业目标获得个性化学习建议和资源，提升 AI 领域技能。 2. 职场新人和职业转换者： 职业发展指导：制定职业发展计划，明确短期和长期目标。 职业转型支持：提供转型路径和必要技能培训资源，帮助顺利转型。 3. 企业： 人才招聘和培养：评估应聘者 AI 技能水平，选择合适候选人，为现有员工提供职业发展规划和技能提升建议，培养内部 AI 人才。 员工职业发展：为员工制定个性化职业发展计划，提供持续指导和培训，提升满意度和留任率。 4. 教育机构： 职业指导服务：作为学生职业指导一部分，帮助了解 AI 领域职业机会和发展路径，提升就业率。 课程设计和优化：根据市场需求和学生职业规划优化课程设置，提供针对性 AI 技能培训。 5. 职业咨询师： 辅助工具：使用产品为客户提供更精准职业规划建议和技能评估，提升服务质量和效率。 数据支持：基于产品提供的市场数据和职业趋势分析，为客户提供更全面和前瞻性指导。 BotID：7388833785208504358

准备测评集通常需要以下步骤： 1. 确定评估标准：根据具体的业务目标和应用场景，明确测评的重点和要求。 2. 构建测试题目：例如对于中文大模型，可以包括多轮开放问题和多种能力的客观选择题，如 2023 年度中文大模型基准测评报告中提到的 1060 道多轮简答题和 3213 道客观选择题。 3. 考虑多维度和多视角：采用综合性的测评方案，全面评估模型的能力。 4. 引入裁判模型：如使用超级模型作为评判官，对不同模型的表现进行对比和评分。 5. 设定评分规则：明确胜、和、负的得分情况，并计算综合得分。 6. 进行人工校验：确保测评题目的准确性和有效性。 在开发产品视角的大模型 RAG 应用时，评测环节首先要确定测评标准，包括是否理解问题、是否匹配正确政策原文、回答是否准确全面、是否生成原文以外内容、回答是否可靠以及是否支持追问等方面。对于菜品秀秀的 Bot 评测集，可以根据具体菜品的烹饪步骤、食材准备、口味特点等方面进行构建。

AI 测评主要包括以下几个方面： 1. AI Review（测试版）：这是一项能让您查看代码库中近期更改以捕获潜在错误的功能。您可以单击各个审阅项在编辑器中查看完整上下文，并与 AI 聊天获取更多信息。为了让其更有利，您可以提供自定义说明让 AI 专注于特定方面，比如性能相关问题。目前有几个查看选项，如查看工作状态、查看与主分支的差异、查看上次提交。 2. 从 AI 助教到智慧学伴的应用探索：未来展望包括 AI 辅助测评，例如作业题目智能生成与优化、主观题 AI 辅助批改、基于平台数据的学情智能分析等。对于教师试讲语言的评价，可从语言的准确性等五个维度打分（每项 5 分，共 25 分），给出总分，并以和蔼可亲的语文老师角色给出 700 字左右中肯评价及改进建议。 3. 【法律法规】《促进创新的人工智能监管方法》：提到工具如保证技术和技术标准可支持供应链风险管理，评估框架时要关注法律责任在 AI 中的有效公平分配，持续收集各方证据以监测框架对 AI 供应链中不同参与者的影响，尤其关注基础模型带来的潜在挑战。并提出了一些咨询问题，如监管者在不同 AI 应用和系统中应用原则可能面临的挑战及解决方法，以及对通过现有法律框架分配 AI 法律责任的看法和改进建议。

以下是一些大模型测评网站： 玉宝搞过的 LLM 在线评估网站：https://www.llmrank.cn/ ，可看到国内各个闭源大模型的 HUMANEVAL 测评得分，并能与 QWEN2 对比。 Compass Arena：由上海人工智能实验室和魔搭社区联合推出，集齐了国内主流的 20 多款大模型，包括阿里通义千问、百度文心一言、腾讯混元、讯飞星火、字节跳动豆包、智谱 AI、百川智能、零一万物、月之暗面等，用户可在平台选择大模型的两两“对战”，实名或匿名对战皆可。测评地址：https://opencompass.org.cn/arena 。 中文大模型评测收集与调研相关网站： InfoQ + 极客帮：https://www.guotaixia.com/post/5124.html GAOKAOBench：https://github.com/OpenLMLab/GAOKAOBench ，是以中国高考题目为数据集，测评大模型语言理解能力、逻辑推理能力的测评框架。 清华安全大模型测评：http://115.182.62.166:18000 ，清华收集的一个评测集，涵盖了仇恨言论、偏见歧视言论、犯罪违法、隐私、伦理道德等八大类别，包括细粒度划分的 40 余个二级安全类别。 JioNLP 个人测评：评测数据集：https://github.com/dongrixinyu/JioNLP/wiki/LLM 评测数据集 ，考察 LLM 模型对人类用户的帮助效果、辅助能力，可否达到一个【智能助手】的水平。 EduTEP：华东师范大学计算机科学与技术学院 EduNLP 团队组建智能教育算法测评小组，开发智能教育可信评测平台（EduTEP）。EduTEP 对比多种大模型在教育领域中的综合性能，针对 K12 教育发布首个 CALMEDU 评测框架与 CALMEDU001 评测报告。 娱乐资本论：从实用角度出发，分析大模型在各种文本应用场景，如小红书带货文案、抖音直播文案、知乎问答、小说创作、公关信写作、歌词生成、淘宝商品详情页文案、广告宣传片文案、剧本创意策划等方面的综合表现。 全面的模型测评网站：https://lmsys.org/blog/20230503arena/

以下是为您制作的关于如何使用 AI 进行办公提效以及 AI 工具分类对比和测评的 PPT 内容： 幻灯片 1：封面 标题：AI 助力办公提效及工具测评 幻灯片 2：目录 AI 在办公中的应用场景 常用 AI 办公工具分类对比 各工具的详细测评 幻灯片 3：AI 在办公中的应用场景 辅助文档处理 自动生成会议记录 办公文件分类管理 语言学习纠错 幻灯片 4：常用 AI 办公工具分类对比（表格形式） |工具名称|是否收费|国内是否可用|主要面向对象|优点|缺点|突出功能| |||||||| |平安好医生 APP|部分功能收费|是|医疗工作者和患者|辅助医生诊断，提高准确性|可能存在误判|辅助疾病诊断| |腾讯会议|部分高级功能收费|是|企业和个人|自动生成会议记录，方便回顾|语音识别准确性有待提高|会议记录生成| |字体管家 APP|部分字体收费|是|设计和文字工作者|生成多种书法字体|字体版权问题|书法字体生成| |醒图 APP|部分功能收费|是|摄影爱好者|提供构图建议，提升照片质量|对复杂场景的建议有限|摄影构图建议| |游戏内商城推荐功能|部分游戏收费|是|游戏玩家|根据需求推荐道具|推荐的精准度因人而异|游戏道具推荐| |彩云天气分时预报|部分功能收费|是|出行人群|提供精准分时天气预报|天气变化的不确定性|分时天气预报| |医渡云病历分析系统|收费|是|医疗机构|分析病历辅助诊断|数据安全性|病历分析| |讯飞听见会议总结功能|部分功能收费|是|企业和个人|自动总结会议发言内容|对复杂语言理解有限|会议发言总结| |书法临摹软件|部分功能收费|是|书法爱好者|提供临摹指导和评价|对不同书法风格的适应性|临摹辅助| |下厨房口味调整功能|部分功能收费|是|烹饪爱好者|根据反馈调整菜谱口味|口味调整的局限性|菜谱口味调整| |英语流利说纠错功能|部分课程收费|是|语言学习者|帮助纠正错误|对口语表达的纠错有限|语言学习纠错| |豆瓣电影剧情分析工具|免费|是|电影爱好者|提供剧情深度解读|分析的主观性|剧情分析| |腾讯文档分类功能|部分高级功能收费|是|企业和个人|自动分类办公文件|分类准确性依赖数据|文件分类| |美丽修行定制方案功能|部分功能收费|是|美容护肤人群|定制个性化护肤方案|方案的普适性|护肤方案定制| 幻灯片 5：总结 强调 AI 在办公领域的重要性和潜力 鼓励根据实际需求选择合适的 AI 工具提升办公效率 以上 PPT 内容仅供参考，您可以根据具体需求进行修改和完善。

以下是一些常见的模型能力测评方法： 1. 从模型角度（generation）： 回答真实性：评估模型结果的真实性，减少模型幻觉。 回答相关度：衡量结果与问题的相关性，避免南辕北辙。 2. 从检索角度（retrieval）： 召回率（recall）：考查相关信息在返回的检索内容中的包含程度，越全越好。 准确率（precision）：评估返回的检索内容中有用信息的占比，越多越好。 RAGAS 是一个用于 RAG 评估的知名开源库，您可以通过了解和使用。 RAG 具有一定的优势和局限性： 优势： 能够解决大语言模型技术中输出结果的不可预测性、知识的局限性、幻觉问题、数据安全性等问题。 可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息，更好地控制大模型生成的文本输出，并且用户可以深入了解 LLM 如何生成最终的结果。 可以和微调结合使用。 局限性： 适合打造专才，不适合打造通才，不适合为模型提供通用领域知识。 难以让模型保持稳定的风格或结构输出，降低 token 消耗等，需要使用微调技术解决。

大模型的系统提示词主要包括以下方面： 1. 在“五津：一键生成‘摸鱼打工猫’视频”中，针对用户选择的主题和回答，总结用户的创作意图，如“打工猫摸鱼的 2 小时，在巴厘岛能看一场日落”，并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词，以数组形式输出到“tishici”，将用户意图输出到“biaoti”。 2. 在“云中江树：智能对决：提示词攻防中的 AI 安全博弈”中，系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意；模型侧对于有能力的厂商应增强安全性并平衡性能，开发者则要在开发中带着安全意识优化系统提示词，加入安全引导和禁止内容等；输出侧可使用传统防御和内容过滤手段，并针对大模型特点进行私有数据泄露等检查。此外，还提到间接注入和提示词泄露的情况，间接注入常发生在应用获取依赖外部数据资源时，攻击者通过隐藏恶意指令完成攻击；提示词泄露指试图操纵模型输出获取部分或全部系统提示词，大模型输出内容可分为系统提示词、用户提示和助手提示词三段，通过攻击手段可获取系统提示词。

以下是对通义千问 Qwen2.5VL 模型的介绍： 版本：有 3B、7B 和 72B 三个尺寸版本。 主要优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 然而，对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型，目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容，因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看，其在视觉理解方面具有较强的能力和优势。

目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。

目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。

目前在视觉理解大模型方面，较为突出的有 DeepSeek 的 JanusPro 模型，它将图像理解和生成统一在一个模型中；还有通义千问的视觉理解模型，其价格有较大降幅。此外，Pixverse V3.5 是全球最快的 AI 视频生成模型，在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型，因为这取决于不同的评估标准和应用场景。

大模型对话产品具有以下优点： 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验，具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接，产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务，适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景，如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点： 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情，全靠用户脑补，导致用户上头期短，疲劳度高，长期留存低。 3. 无法回答私有领域问题（如公司制度、人员信息等）。 4. 无法及时获取最新信息（如实时天气、比赛结果等）。 5. 无法准确回答专业问题（如复杂数学计算、图像生成等）。

垂直大模型是专注于特定领域的大模型，例如小语种交流、临床医学、AI 蛋白质结构预测等。 在国内，大模型分为通用模型如文心一言、讯飞星火等，处理自然语言；也有垂直模型专注特定领域。 大模型因其强大的语言理解和生成能力，在多个领域和应用场景中表现出色。比较火的应用场景包括： 1. 文本生成和内容创作：撰写文章、生成新闻报道、创作诗歌和故事等。 2. 聊天机器人和虚拟助手：提供客户服务、日常任务提醒和信息咨询等服务。 3. 编程和代码辅助：代码自动补全、bug 修复和代码解释。 4. 翻译和跨语言通信：促进不同语言背景的用户之间的沟通和信息共享。 5. 情感分析和意见挖掘：为市场研究和产品改进提供数据支持。 6. 教育和学习辅助：创建个性化的学习材料、自动回答学生问题和提供语言学习支持。 7. 图像和视频生成：如 DALLE 等模型可以根据文本描述生成相应的图像，甚至在未来可能扩展到视频内容的生成。 8. 游戏开发和互动体验：创建游戏中的角色对话、故事情节生成和增强玩家的沉浸式体验。 9. 医疗和健康咨询：理解和回答医疗相关的问题，提供初步的健康建议和医疗信息查询服务。 10. 法律和合规咨询：帮助解读法律文件，提供合规建议，降低法律服务的门槛。 关于发展趋势，尽管当前市场以基础大模型为主，但将大模型与行业专业知识结合，以满足不同行业的需求，成为未来发展的关键。例如腾讯研究院的《行业大模型调研报告》指出，如何将大模型与行业专业知识结合是重点。同时，在发展过程中也需要注意其在隐私、安全和伦理方面的挑战。 很抱歉，暂时无法为您提供相关图片。

以下是 2025 年 3 月 1 日以来，国内外、闭源开源模型厂商的部分更新记录： 2025 年 3 月 20 日，OpenAI 推出了一套全新的音频模型，旨在通过 API 为开发者提供更智能、更可定制的语音代理支持，包括改进的语音转文本和文本转语音功能，为语音交互应用带来显著提升。 李开复公开表示 OpenAI 面临生存危机，商业模式不可持续。他强调中国的 DeepSeek 以极低成本提供接近的性能，开源模式将主导未来 AI 发展。他认为企业级 AI 应用将成为投资重点，资源限制反而促进了创新。李开复大胆预测，中国将出现三大 AI 玩家，竞争愈发激烈。 SuperCLUE 发布《中文大模型基准测评 2025 年 3 月报告》，指出 2022 2025 年经历多阶段发展，国内外模型差距缩小。测评显示 o3mini总分领先，国产模型表现亮眼，如 DeepSeekR1 等在部分能力上与国际领先模型相当，且小参数模型潜力大。性价比上，国产模型优势明显。DeepSeek 系列模型深度分析表明，其 R1 在多方面表现出色，蒸馏模型实用性高，不同第三方平台的联网搜索和稳定性有差异。 以上信息来源包括： 《》 《》 《》

以下是对您需求的调研分析： 一、市场分析 目前，AI 领域发展迅速，AI 导航网站作为获取相关信息和资源的入口，具有较大的市场潜力。随着人们对 AI 技术的关注度不断提高，对于便捷、高效的 AI 资源导航需求也在增加。 二、竞品分析 暂未获取到直接关于 AI 导航网站的竞品详细信息。 三、用户分析 用户可能包括对 AI 技术感兴趣的个人、开发者、研究人员、企业等。他们希望通过导航网站快速找到所需的 AI 工具、资源、案例等。 四、产品规划 1. 提供全面、准确的 AI 网站分类和链接，涵盖工具、研究成果、应用案例等。 2. 设立用户评价和推荐系统，帮助用户筛选优质资源。 3. 提供个性化推荐功能，根据用户的浏览历史和偏好推送相关内容。 五、团队人员需求 1. 技术人员：负责网站的开发和维护，如前端开发、后端开发等。 2. 内容编辑：收集、整理和更新 AI 网站信息。 3. 运营人员：负责推广、用户互动和数据分析。 六、资源需求 1. 服务器和带宽资源，以保证网站的稳定运行和快速响应。 2. 数据采集和更新的工具和技术。 七、风险点 1. 市场竞争激烈，可能面临已有成熟竞品的压力。 2. AI 技术发展迅速，需要及时更新网站内容，以保持竞争力。 3. 可能存在版权和法律合规方面的风险。 4. 用户获取和留存的挑战，需要提供优质的服务和用户体验。

在英语教育领域实现 AGI 方面，目前国内外走在前面的公司情况如下： 在国外，OpenAI 表现突出，ChatGPT 和 GPT4 的出现令人惊讶，其成功拉开了与国内的技术差距。 在国内，百度和阿里相对较为高调。百度的“文心 4.0”是当前国内能力较好的模型之一，即将发布的阿里的“通义千问”也备受关注。然而，国内大厂们虽然在人才、GPU、数据和资金储备方面具备冲击 AGI 的条件，但实际效果尚未有明确亮点。2023 年中美在 AGI 技术上的差距并未缩小，国内最领先的模型水平大概在准 ChatGPT3.5 的水平，与 GPT4 仍有不小差距，甚至不如临时拼凑的 Mistral 团队的水平。此外，大厂们受内部短期考核压力影响，多数力量放在卷新产品圈地盘和向上汇报工作上，且同时背负了较多其他业务和政治考量。

目前，在国内外物联网智能台灯的发展呈现出以下现状： 国内方面，随着物联网技术的迅速发展，智能台灯的市场逐渐扩大。许多企业纷纷投入研发，注重产品的智能化功能，如通过手机 APP 实现远程控制、亮度和色温调节等。同时，一些产品还融入了语音控制功能，提升了用户的使用体验。然而，在产品的稳定性和兼容性方面，仍存在一定的改进空间。 国外方面，智能台灯的设计更加注重人性化和创新性。例如，一些产品在外观设计上更加时尚美观，能够与不同的家居风格相融合。在技术应用上，国外的智能台灯更加注重与其他智能家居设备的互联互通，形成完整的智能家居生态系统。但部分产品价格较高，限制了其在大众市场的普及程度。

以下是 AI 安全治理方向的国内外团队和人员相关信息： 美国：拜登签署了 AI 行政命令，美国政府已就 AI 治理框架与多国进行了广泛协商，包括澳大利亚、巴西、加拿大、智利、欧盟、法国、德国、印度、以色列、意大利、日本、肯尼亚、墨西哥、荷兰、新西兰、尼日利亚、菲律宾、新加坡、韩国、阿联酋和英国等。此外，美国迅速跟进世界首个人工智能安全研究所 AISA，美国能源部也一直在利用其内部测试床评估人工智能可能对关键基础设施和能源安全带来的风险。 英国：创建了世界上第一个人工智能安全研究所 AISA，AISA 有在部署前对高级模型进行评估、建立国家能力并开展研究、协调国际合作伙伴等三个核心功能，还发布了用于 LLM 安全评估的框架 Inspect。英国通过其高级研究与发明机构（ARIA）花费 5900 万英镑开发“守门员”系统，负责了解和减少关键领域中其他人工智能代理的风险，还计划设立“AI 安全研究实验室”。 OpenAI：OpenAI LP 约有 100 名员工，分为技术能力（推动 AI 系统功能发展）、安全保障（确保系统符合人类价值观）和政策治理（确保适当治理系统）三个主要方向。