Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

端侧模型有哪些应用?

Answer

端侧模型具有以下一些应用:

  • 在汽车场景中,部分端侧模型在车辆使用指南(如操作指南、车辆故障诊断、维修保养)方面表现优异,一些 13 - 14B 中小模型甚至超过了云端的闭源模型,展现出满足用户需求的良好能力和巨大潜力。在智能座舱与交互方面,还有进步空间。
  • 在创建嵌入和编辑文本等方面,有专门的端点专用模型。
  • 在具身智能领域,如 RT - 1 基于模仿学习中的行为克隆学习范式,能使机器人具备一定泛化性,执行新任务。RT - 2 是真正的端到端 VLA 模型,能实现机器人基于大模型的语义理解和动作理解,让机器人端到端生成动作,执行更复杂任务。
Content generated by AI large model, please carefully verify (powered by aily)

References

2023年度中文大模型基准测评报告.pdf

[title]中文大模型基准测评2023年度报告[heading1]专项基准[heading1]行业基准:SuperCLUE-Auto汽车行业测评基准部分大模型在技术和应用不同维度表现稍显不一致。车辆使用指南这一维度上,多个模型达到了80分以上的优异表现,说明在一些对用户有用的任务上(如操作指南、车辆故障诊断、维修保养)已经具备较高的交互成熟度。在智能座舱与交互这一维度上,仅有一个中文模型达到了良好表现,说明中文大模型在智能座舱与交互还有不少的进步空间。在汽车场景中,有一些13-14B中小模型也超过了云端的闭源模型,说明可满足用户需求具备良好能力的端侧模型有非常大的潜力。

模型(Models)

虽然新的gpt-3.5-turbo模型针对会话进行了优化,但它对于传统的完成任务也非常有效。原始的GPT-3.5模型针对[文本补全](https://ywh1bkansf.feishu.cn/wiki/OIBbwywg0i3RXrkXMDlcDmxRnPc)进行了优化。我们用于[创建嵌入(Embedding)](https://ywh1bkansf.feishu.cn/wiki/M5C9wX65mi9OWCkc8JHcFIkFnXf)和[编辑文本](https://ywh1bkansf.feishu.cn/wiki/OIBbwywg0i3RXrkXMDlcDmxRnPc)的端点它们自己的一组专用模型。

具身智能赛道爆发的前夕,我们应该了解些什么?(上)|Z研究第 5 期

可以看到Google的研究成果有一个聚合的趋势。随着数据量的增加,从分层模型过渡到端到端模型也许是一个自然趋势。技术和意义RT-1:基于模仿学习中的行为克隆学习范式,输入一段短的图像序列和一个指令,输出每个时间步的一个动作,历时17个月基于13个机器人采集了130k episodes以及超过700个任务的数据集,使机器人具备了一定的泛化性,能够发现结构相似任务之间的模式,且应用到新任务上。RT-1的输入由图片序列、自然语言指令构成,输出由机械臂运动的目标位姿(Toll,pitch gaw,gripper stαtus)、基座的运动、模式转换指令构成。RT-2:一个真正的端到端VLA模型(Vision-language-Action)。RT2将动作视为一种新的语言,结合针对动作语言的CoT技术,同时实现了机器人基于大模型的语义理解(High level reasoning)和动作理解(Low level action),意味着机器人可端到端生成动作,从而执行更复杂的任务例:RT-2不仅能听懂自然语言指令,还会主动思考,当听到“捡起灭绝的动物”指令,能准确理解其中含义,并完成从恐龙、鲸鱼、狮子三种塑料玩具中抓取恐龙的连续性动作

Others are asking
端侧模型未来的发展前景如何?
端侧模型未来具有良好的发展前景,主要体现在以下几个方面: 1. 技术能力提升:未来的模型能力会更强,能够更好地理解和区分布局,甚至处理不同类型的输入。例如,2024 年可能会有能将图像和文本同时作为输入,融合得很好,实现风格转换和场景一致性的工作。 2. 手机和电脑终端应用:手机和电脑终端的端侧小模型有很大前景,对端侧模型的低功耗、低算力和高智能体验有很高的要求。 3. 优势明显:端侧模型具有个性化、数据隐私安全和对联网稳定性和延时要求低的优势。 4. 潜力巨大:在汽车场景中,一些 13 14B 中小模型也超过了云端的闭源模型,说明可满足用户需求具备良好能力的端侧模型潜力很大。 然而,端侧模型也存在一些挑战: 1. 小于手机形态的产品上,不太可能通过将模型部署在端侧,创造在续航、智能体验和使用体验上的良好平衡。 2. 端侧模型的智能体验目前比云端模型差。 总体而言,端侧模型在未来的发展中机遇与挑战并存。
2024-09-21
大模型的系统提示词
大模型的系统提示词主要包括以下方面: 1. 在“五津:一键生成‘摸鱼打工猫’视频”中,针对用户选择的主题和回答,总结用户的创作意图,如“打工猫摸鱼的 2 小时,在巴厘岛能看一场日落”,并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词,以数组形式输出到“tishici”,将用户意图输出到“biaoti”。 2. 在“云中江树:智能对决:提示词攻防中的 AI 安全博弈”中,系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意;模型侧对于有能力的厂商应增强安全性并平衡性能,开发者则要在开发中带着安全意识优化系统提示词,加入安全引导和禁止内容等;输出侧可使用传统防御和内容过滤手段,并针对大模型特点进行私有数据泄露等检查。此外,还提到间接注入和提示词泄露的情况,间接注入常发生在应用获取依赖外部数据资源时,攻击者通过隐藏恶意指令完成攻击;提示词泄露指试图操纵模型输出获取部分或全部系统提示词,大模型输出内容可分为系统提示词、用户提示和助手提示词三段,通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash,这3个视觉理解大模型哪个最厉害?
以下是对通义千问 Qwen2.5VL 模型的介绍: 版本:有 3B、7B 和 72B 三个尺寸版本。 主要优势: 视觉理解能力:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。 视频理解能力:支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。 万物识别:擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位:采用矩形框和点的多样化方式对通用物体定位,支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解:提升 OCR 识别能力,增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析:设计了更全面的文档解析格式,称为 QwenVL HTML 格式,能够精准还原文档中的版面布局。 增强的视频理解:引入动态帧率(FPS)训练和绝对时间编码技术,支持小时级别的超长视频理解,具备秒级的事件定位能力。 开源平台: Huggingface:https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope:https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat:https://chat.qwenlm.ai 然而,对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型,目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容,因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看,其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有: 1. 昆仑万维的 SkyReelsV1:它不仅支持文生视频、图生视频,还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。擅长万物识别,能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个: 1. 昆仑万维的 SkyReelsV1:不仅支持文生视频、图生视频,是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元:语义理解能力出色,能精准还原复杂的场景和动作,如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5:全球最快的 AI 视频生成模型,Turbo 模式下可在 10 秒内生成视频,最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能,具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面,较为突出的有 DeepSeek 的 JanusPro 模型,它将图像理解和生成统一在一个模型中;还有通义千问的视觉理解模型,其价格有较大降幅。此外,Pixverse V3.5 是全球最快的 AI 视频生成模型,在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型,因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点: 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验,具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接,产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务,适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景,如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点: 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情,全靠用户脑补,导致用户上头期短,疲劳度高,长期留存低。 3. 无法回答私有领域问题(如公司制度、人员信息等)。 4. 无法及时获取最新信息(如实时天气、比赛结果等)。 5. 无法准确回答专业问题(如复杂数学计算、图像生成等)。
2025-04-14
多模态应用
以下是一些多模态应用的案例: 1. 电商领域: 拍立淘:由淘宝推出,用户拍照即可识别商品并直接进入购物页面,简化购物搜索步骤。 探一下:支付宝推出的图像搜索引擎,拍照后 AI 能识别并搜索相关商品或信息。 2. 创意领域: 诗歌相机:拍照能生成一首诗,还能打印,将诗意与现代技术结合,并做成硬件形式。 3. 技术平台: 阿里云百炼大模型平台为企业侧提供各种原子级别能力,包括多模态能力。 4. 其他应用场景: 融图:如把图二中的机器人合成到图一的环境中,保持比例、细节、光影和氛围感统一。 小红书风格卡片:使用特定风格生成关于特定内容的卡片。 Logo 转 3D 效果:将图标改成 3D 立体、毛玻璃、毛绒等效果。 示意图转卡通漫画:把示意图转成幼儿园小朋友能看懂的漫画并配中文说明。 遥感理解(图像数据):识别图中的建筑物并用色块标注。 包装图直出效果:生成图片对应的包装侧面效果图。 参考生成海报图:参考小红书封面生成 PPT 设计相关封面图。 三维建模模拟:将图片转化为 3D max 建模渲染界面并加入 UI 界面。 手办三视图:保留人物样貌、神态,制作成特定要求的 3D 手办三视图。
2025-04-18
金融业相关AI应用场景或AI技术介绍
在金融业中,AI 有以下应用场景和技术: 1. 风控和反欺诈:用于识别和阻止欺诈行为,降低金融机构的风险。 2. 信用评估:评估借款人的信用风险,帮助金融机构做出更好的贷款决策。 3. 投资分析:分析市场数据,辅助投资者做出更明智的投资决策。 4. 客户服务:提供 24/7 的客户服务,回答客户常见问题。 例如,Hebbia 获得近 1 亿美元 B 轮融资,其 AI 技术能够一次处理多达数百万份文档,在短时间内浏览数十亿份包括 PDF、PowerPoint、电子表格和转录内容等,并返回具体答案,主要面向金融服务公司,如对冲基金和投资银行,同时也适用于律师事务所等其他专业领域。
2025-04-15
结构化思维在AI办公里的应用
结构化思维在 AI 办公中有以下应用: 在 Model Context Protocol 托管平台中: 特色功能方面,Sequential Thinking 提供动态和反思性问题解决的结构化思维过程,适用于复杂问题分析和决策。 核心功能分类包括笔记管理工具(如 Simple Notes MCP Server、Bear MCP Server、Notion 集成)、AI 对话工具(如 Autonomous Coder Agent、OpenAI 兼容 API 集成)、Google Workspace 集成(如 Gmail 和 Google Calendar 集成、多账户管理、邮件搜索和撰写、日历事件管理)、学术研究工具(如 Semantic Scholar 集成、PubMed 搜索、arXiv 论文访问、IACR 密码学文献库访问)、AI 数据库管理(如 MySQL Server 集成、知识图谱记忆服务、DuckDB 集成、Airtable 集成)。 面对 AI 幻觉问题时,可使用结构化思考工具辅助判断,如决策矩阵用于面对多个选择时做出更理性的决策,检查清单用于执行复杂任务时确保每个步骤按计划完成,风险评估模型用于做重要决策时分析不同方案的风险并制定应对措施。 在让 AI 像人类一样思考方面,构建逻辑体感轮子,包括逻辑推理功能和内容抽象功能。内容抽象功能能够高效地组织内容,体现结构化思维,通过心智单元的抽象思维高效地组织复杂任务。
2025-04-14
公共议题:AI如何助力HR业务? 研讨目标: 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状,识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物): 请输出10个业务价值高、具备可行性的AI应用场景介绍,并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您生成的 10 个业务价值高、具备可行性的 AI 应用场景介绍: 1. 人才招聘与筛选 What:利用 AI 技术对求职者的简历进行自动筛选和分析,评估其与岗位的匹配度。 Why:节省 HR 大量的时间和精力,提高招聘效率和准确性。 How:通过自然语言处理和机器学习算法,训练模型识别关键信息和技能。 2. 员工培训与发展 What:根据员工的技能水平和职业发展目标,定制个性化的培训计划。 Why:提升员工的能力和绩效,增强员工对企业的忠诚度。 How:利用大数据分析员工的工作表现和学习需求,推荐相关课程和学习资源。 3. 薪酬福利管理 What:运用 AI 预测市场薪酬趋势,为企业制定合理的薪酬策略。 Why:保持企业薪酬的竞争力,吸引和留住优秀人才。 How:收集和分析行业薪酬数据,结合企业的财务状况和战略目标进行优化。 4. 员工绩效评估 What:借助 AI 实时监测员工的工作表现,提供客观的绩效评估。 Why:减少人为偏差,确保评估的公正性和准确性。 How:利用工作流程数据和行为分析模型进行评估。 5. 员工关系管理 What:通过 AI 分析员工的情绪和满意度,及时发现问题并解决。 Why:营造良好的工作氛围,提高员工的工作积极性和创造力。 How:使用情感分析技术处理员工的反馈和交流信息。 6. 组织架构优化 What:利用 AI 分析企业的业务流程和人员配置,提供组织架构调整建议。 Why:提高企业的运营效率和灵活性,适应市场变化。 How:基于数据分析和模拟优化算法进行评估和推荐。 7. 人力资源规划 What:根据企业的战略目标和业务发展预测人力资源需求。 Why:提前做好人才储备和招聘计划,保障企业的正常运营。 How:运用数据分析和预测模型进行规划。 8. 企业文化传播 What:使用 AI 生成个性化的企业文化宣传内容,提高传播效果。 Why:增强员工对企业文化的认同感和归属感。 How:利用自然语言生成技术和个性化推荐算法。 9. 智能客服 What:在 HR 服务中引入 AI 客服,解答员工常见问题。 Why:快速响应员工需求,提高服务质量。 How:训练智能客服模型,涵盖常见的 HR 问题和解决方案。 10. 人才库管理 What:利用 AI 对人才库进行分类和更新,提高人才库的利用效率。 Why:方便快速找到合适的人才,降低招聘成本。 How:运用数据挖掘和分类算法进行管理。
2025-04-14
公共议题:AI如何助力HR业务? 研讨目标: 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状,识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物): 请输出3-5个业务价值高、具备可行性的AI应用场景介绍,并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您提供的 3 个业务价值高、具备可行性的 AI 应用场景介绍: 场景一:AI 在企业招聘中的应用 What:利用 AI 技术进行简历筛选、人才匹配和面试评估。 Why:能够快速处理大量简历,提高招聘效率和准确性,节省人力和时间成本,同时更精准地找到符合岗位需求的人才。 How:通过引入相关的 AI 招聘软件,与企业现有的招聘系统集成,对简历进行关键词提取和分析,利用机器学习算法进行人才匹配,并通过视频面试中的语音和表情分析辅助评估候选人。 场景二:AI 助力个性化人力资源管理 What:根据员工的个人特点和工作表现,提供个性化的培训计划、职业发展建议和绩效评估。 Why:能够充分发挥员工的潜力,提高员工满意度和忠诚度,促进企业的长期发展。 How:收集员工的工作数据、学习记录和绩效表现等信息,运用 AI 算法进行分析和预测,为员工制定专属的发展方案,并通过移动应用或内部系统向员工推送相关建议和培训课程。 场景三:AI 打造无人值守的 HR 平台 What:实现 HR 业务的自动化处理,如员工请假审批、薪酬计算和福利发放等。 Why:减少人工操作的错误和繁琐流程,提高 HR 工作的效率和准确性,使 HR 人员能够专注于更有价值的战略工作。 How:整合企业内部的各种 HR 系统和数据,利用 RPA 和 AI 技术实现流程的自动化,同时建立监控和预警机制,确保平台的稳定运行。
2025-04-14
飞书+AI的应用案例
以下是飞书+AI的应用案例: 在企业运营方面,包括日常办公文档材料撰写整理、营销对话机器人、市场分析、销售策略咨询,以及法律文书起草、案例分析、法律条文梳理和人力资源简历筛选、预招聘、员工培训等。 在教育领域,协助评估学生学习情况,为职业规划提供建议,针对学生情况以及兴趣定制化学习内容,论文初稿搭建及论文审核,帮助低收入国家/家庭通过 GPT 获得平等的教育资源。 在游戏/媒体行业,有定制化游戏、动态生成 NPC 互动、自定义剧情、开放式结局,出海文案内容生成、语言翻译及辅助广告投放和运营,数字虚拟人直播,游戏平台代码重构,AI 自动生成副本。 在零售/电商领域,包括舆情、投诉、突发事件监测及分析,品牌营销内容撰写及投放,自动化库存管理,自动生成或完成 SKU 类别选择、数量和价格分配,以及客户购物趋势分析及洞察。 在金融/保险行业,有个人金融理财顾问、贷款信息摘要及初始批复、识别并检测欺诈活动风险、客服中心分析及内容洞。 线下活动方面: 活动宣传:用飞书文档制作活动宣传页面,用 AI 快速制作海报,用 GPTs 写人员分配和主持人台词,活动从策划到开始仅用 2 天时间。 活动报名:使用飞书的多维表格完成报名表及数据统计。 活动过程:大家在线协同,一起编辑文档,演示时共同展示一个文档。 活动记录:有相关的记录页面。 办活动的初衷是宣扬 AI 不只是降本增效的工具,还有很多乐趣等待挖掘,例如大理户外圆桌讨论、清迈的 AI 逛古城、杭州的 AI 玄学小组。
2025-04-13