Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

LLM 能胜任的场景

Answer

LLM 能胜任的场景包括以下方面：

  • 提示执行/推理：
    • 开发初期，通常使用 OpenAI API 启动新的 LLM 应用，如 gpt-4 或 gpt-4-32k 模型，其在广泛输入领域运行，无需微调或自托管，能为应用性能提供最佳场景。
    • 项目投入生产并规模化时，有更多选择。例如，切换到 gpt-3.5-turbo，它比 GPT-4 便宜约 50 倍，速度更快，适用于不需要 GPT-4 级别准确性但需要低延迟推理和对免费用户成本有效支持的应用。
    • 与其他专有供应商（如 Anthropic 的 Claude 模型）进行实验，Claude 提供快速推理、GPT-3.5 级精度、针对大客户的更多定制选项以及高达 100k 的上下文窗口，但精度会随长度增加而降低。
    • 将一些请求分流到开源模型，在高流量的 B2C 用例（如搜索或聊天）中可能尤其有效，适用于查询复杂性差异大且需要为免费用户提供便宜服务的情况。
  • 赋予模型使用工具的能力：通过从知识挖掘转向行动导向，增加“手臂和腿部”的能力，有望在消费者和企业领域实现一系列用例。如消费者方面，LLMs 可能给出菜谱建议并订购食材、推荐早午餐地点并预订餐桌；企业领域，创始人可通过接入 LLMs 使应用程序更易用，如在 Salesforce 等应用中，用户用自然语言进行更新，模型自动更改，减少维护 CRM 所需时间。
  • 作为多模态 Agent：
    • 优点：高度的灵活性和扩展性，可根据任务需求调用最合适模型处理任务，适应多样化任务和数据类型，优化资源使用，提升效率；无需训练，系统开发周期快，成本低。
    • 局限性：调试和工程化难度较高，维护和升级可能需要更多成本和技术投入；多个组件紧密耦合，单点故障可能导致整个系统风险增加；没有涌现出新的能力。
    • 适用场景包括多种任务和数据类型的处理。
Content generated by AI large model, please carefully verify (powered by aily)

References

LLM 应用程序的新兴架构

如今，OpenAI已成为语言模型领域的领导者。我们接触的几乎所有开发者都是使用OpenAI API启动新的LLM应用，通常使用的是gpt-4或gpt-4-32k模型。这为应用性能提供了最佳的场景，且易于使用，因为它在广泛的输入领域中运行，并且通常不需要微调或自托管。当项目投入生产并开始规模化时，更广泛的选择就会发挥作用。我们听到的一些常见问题包括：切换到gpt-3.5-turbo：它比GPT-4[便宜约50倍](https://github.com/ray-project/llm-numbers)，而且速度明显更快。许多应用程序不需要GPT-4级别的准确性，但确实需要低延迟推理和对免费用户的成本有效支持。与其他专有供应商（尤其是Anthropic的Claude模型）进行实验：Claude提供快速推理、GPT-3.5级精度、针对大客户的更多定制选项以及高达100k的上下文窗口（尽管我们发现精度会随着长度的增加而降低）输入。将一些请求分流到开源模型：这在高流量的B2C用例（如搜索或聊天）中可能尤其有效，其中查询复杂性有较大的差异，且需要便宜地为免费用户提供服务。

生成式人工智能领域的 4 个突破点

通过从知识挖掘转向行动导向，增加手臂和腿部的能力有望在各种公司和用户类型之间实现一系列用例。对于消费者而言，LLMs可能很快就能给出菜谱建议，然后为您订购所需的食材，或者建议一个早午餐地点并为您预订餐桌。在企业领域，创始人可以通过接入LLMs使他们的应用程序更易于使用。正如Amodei所指出的：“对于从用户界面角度来说非常难以使用的功能，我们可能只需用自然语言描述即可实现复杂的操作。”例如，对于Salesforce等应用程序，LLM集成应允许用户用自然语言进行更新，并使模型自动进行这些更改，从而大大减少了维护CRM所需的时间。像Cohere和Adept这样的初创公司正在致力于将LLMs集成到这类复杂工具中。

质朴发言：视觉-语言理解模型的当前技术边界与未来应用想象｜Z 研究第 2 期

从2022年11月18日到2023年7月26日，多模态Agents的迅速增长(Li et al.,2023)近年来，随着大型语言模型（LLM，如GPT-3）的发展，研究者开始尝试将LLM作为中枢神经调用多模态模型（LLM多模态agent），以进一步提升视觉理解任务的效果。严格来讲，2023年兴起的LLM多模态agent并不算是视觉基础模型的又一技术迭代，而是将现有技术融合的新尝试，是一种集成了多种模态数据处理能力的AI技术LLM多模态Agent的优点：（1）其高度的灵活性和扩展性。它可以根据不同的任务需求，调用最合适的模型来处理任务，无论是文本、图像或是声音数据。这种模型的扩展性能使其能够适应多样化的任务和数据类型，优化资源使用，提升效率；（2）因为无需训练，系统开发周期快，成本很低。LLM多模态Agent面临的局限性：（1）它的调试和工程化难度较高，这可能意味着在维护和升级过程中需要更多的成本和技术投入；（2）由于多个组件的紧密耦合，单点故障可能导致整个系统风险增加；（3）没有涌现出新的能力。LLM多模态Agent适用的场景包括：

Others are asking
LLM应用可观测性
LLM 应用的可观测性主要体现在以下方面： LangChain：借助 LangSmith 提供更好的日志、可视化、播放和跟踪功能，以便监控和调试 LLM 应用。LangSmith 是基于 Web 的工具，能查看和分析细化到 class 的输入和输出，还提供跟踪功能，用于记录和展示 LLM 应用的执行过程和状态，以及 LLM 的内部信息和统计数据。 Langfuse：为大模型应用提供开源可观测性和分析功能，在可视化界面中可探索和调试复杂的日志和追踪，并使用直观的仪表板改善成本、降低成本、减少延迟，提高响应质量。 此外，微软（中国）的《面向大模型的新编程范式》报告中也强调了在线监控和可观测性的重要性。
2025-04-11
LLM模型响应时间较长，如何处理超时时间问题
处理 LLM 模型响应时间过长导致的超时问题，可以考虑以下方法： 1. 参数有效调整：这是一种新颖的微调方法，通过仅训练一部分参数来减轻微调 LLM 的挑战。这些参数可能是现有模型参数的子集，或者是一组全新的参数，例如向模型添加一些额外的层或额外的嵌入到提示中。 2. 优化提示设计：采用合适的提示方法，如零样本提示、一次性提示、Fewshot prompting 等。零样本提示是只给出描述任务的提示；一次性提示是让 LLM 执行任务的单个示例；Fewshot prompting 是让 LLM 执行任务的少量示例。同时，可以使用结构化模式设计提示，包含上下文、问题示例及相应答案等组件，以指示模型应如何响应。 3. 避免频繁调整某些参数：尤其是 Top K 和 Top P，不需要经常对其进行调整。 4. 关注模型响应质量：即使有良好的提示设计，模型输出仍可能不稳定，需要持续关注和优化。 5. 考虑成本和时间：微调大型模型可能耗时且成本高，为大模型提供服务也可能涉及额外麻烦和成本，需要综合评估和优化。
2025-04-11
除了LLM，就没有AI模型了吗？
除了 LLM ，还有很多其他类型的 AI 模型。以下为您详细介绍： 1. 生成式 AI：可以生成文本、图片、音频、视频等内容形式。其中生成图像的扩散模型就不是大语言模型。 2. 机器学习：电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习：有标签的训练数据，算法的目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习：学习的数据没有标签，算法自主发现规律。经典任务包括聚类，比如拿一堆新闻文章，让模型根据主题或内容特征分成具有相似特征的组。 强化学习：从反馈里学习，最大化奖励或最小化损失，类似训小狗。 3. 深度学习：一种参照人脑有神经网络和神经元的方法（因为有很多层所以叫深度）。神经网络可以用于监督学习、无监督学习、强化学习。 4. 谷歌的 BERT 模型：可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。生成式 AI 生成的内容，叫做 AIGC 。
2025-04-11
linux下安装 anythingLLM
以下是在 Linux 下安装 AnythingLLM 的相关指导： 1. 安装地址：https://useanything.com/download 。 2. 安装完成后会进入配置页面，主要分为三步： 第一步：选择大模型。 第二步：选择文本嵌入模型。 第三步：选择向量数据库。 3. AnythingLLM 中有 Workspace 的概念，可以创建自己独有的 Workspace 与其他项目数据进行隔离。 首先创建一个工作空间。 上传文档并且在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型会根据自己的训练数据和上传的文档数据综合给出答案）和 Query 模式（大模型仅仅会依靠文档中的数据给出答案）。 4. 完成上述配置后，即可与大模型进行对话。 此外，在 GitHubDaily 开源项目列表 2023 年复盘的 AIGC 部分中，也有关于 AnythingLLM 的介绍： 是一个可打造成企业内部知识库的私人专属 GPT！可以将任何文档、资源或内容转换为大语言模型（LLM）知识库，使得在对话过程中可引用到里面的内容。 本文的思路来源于视频号博主黄益贺，作者按照他的视频进行了实操，并附加了一些关于 RAG 的额外知识。
2025-03-27
anythingLLM本地部署
以下是关于本地部署大模型以及搭建个人知识库的相关内容： 一、引言 作者是大圣，一个致力于使用 AI 工具将自己打造为超级个体的程序员，目前沉浸于 AI Agent 研究。本文将分享如何部署本地大模型及搭建个人知识库，读完可学习到如何使用 Ollama 一键部署本地大模型、了解 ChatGPT 信息流转、RAG 概念及核心技术、通过 AnythingLLM 搭建本地化数据库等。 五、本地知识库进阶 如果想要对知识库进行更灵活掌控，需要额外软件 AnythingLLM，它包含所有 Open WebUI 能力，并额外支持选择文本嵌入模型和向量数据库。 安装地址：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步： 1. 第一步：选择大模型。 2. 第二步：选择文本嵌入模型。 3. 第三步：选择向量数据库。 构建本地知识库： AnythingLLM 中有 Workspace 概念，可创建独有 Workspace 与其他项目数据隔离。 1. 首先创建一个工作空间。 2. 上传文档并在工作空间中进行文本嵌入。 3. 选择对话模式，提供 Chat 模式（大模型根据训练数据和上传文档综合给出答案）和 Query 模式（大模型仅依靠文档数据给出答案）。 配置完成后可进行测试对话。 六、写在最后 作者推崇“看十遍不如实操一遍，实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣，可联系作者或加其免费知识星球（备注 AGI 知识库）。 本文思路来源于视频号博主黄益贺，作者按照其视频进行实操并附加了一些关于 RAG 的额外知识。
2025-03-26
LLM的原理
LLM（大语言模型）的工作原理如下： 以“我今天吃了狮子头和蔬菜”这句话为例，在 Transformer 中，会由 Attention 层对其加入更多信息补充，如“狮子头是一道菜”“今天是星期六”等，这些补充信息作为输入给到下一个 Attention 层，层与层之间，哪些信息补充、保留、传递，由模型自主学习，最终模型把海量数据以关系网形式“消化”并保留重要相关性。 形象地说，就像人阅读文章时的连贯性注意力过程，在阅读理解时，脑子里会消化吸收记忆，记忆的不是点状知识，而是网状经验。 大模型以词向量和 Transformer 模型学习海量知识，把知识作为向量空间中的关系网存储，接受输入时通过向量空间中的匹配进行输出。 观察大模型回复，是一个字一个字流式输出的，因为大模型确实在一个字一个字地推理生成内容。比如输入法输入联想，根据输入的单个字推测下一个字，加入上下文能帮助模型理解下一个字。但存在两个问题：一是全量数据计算算力吃不消，二是仅算字的概率易被不相干信息干扰，此时词向量机制和 Transformer 模型中的 Attention 自注意力机制解决了难题。 另外，RAG 对大语言模型的作用就像开卷考试对学生，事实性知识与 LLM 的推理能力相分离，被存储在容易访问和及时更新的外部知识源中，分为参数化知识（模型训练中学习得到，隐式储存在神经网络权重中）和非参数化知识（存储在外部知识源，如向量数据库中）。
2025-03-25
Ai在设备风控场景的落地
AI 在设备风控场景的落地可以从以下几个方面考虑： 法律法规方面：《促进创新的人工智能监管方法》指出，AI 的发展带来了一系列新的安全风险，如对个人、组织和关键基础设施的风险。在设备风控中，需要关注法律框架是否能充分应对 AI 带来的风险，如数据隐私、公平性等问题。 趋势研究方面：在制造业中，AI Agent 可用于生产决策、设备维护、供应链协调等。例如，在工业设备监控与预防性维护中，Agent 能通过监测传感器数据识别异常模式，提前通知检修，减少停机损失和维修成本。在生产计划、供应链管理、质量控制、协作机器人、仓储物流、产品设计、建筑工程和能源管理等方面，AI Agent 也能发挥重要作用，实现生产的无人化、决策的数据化和响应的实时化。
2025-04-20
金融业相关AI应用场景或AI技术介绍
在金融业中，AI 有以下应用场景和技术： 1. 风控和反欺诈：用于识别和阻止欺诈行为，降低金融机构的风险。 2. 信用评估：评估借款人的信用风险，帮助金融机构做出更好的贷款决策。 3. 投资分析：分析市场数据，辅助投资者做出更明智的投资决策。 4. 客户服务：提供 24/7 的客户服务，回答客户常见问题。 例如，Hebbia 获得近 1 亿美元 B 轮融资，其 AI 技术能够一次处理多达数百万份文档，在短时间内浏览数十亿份包括 PDF、PowerPoint、电子表格和转录内容等，并返回具体答案，主要面向金融服务公司，如对冲基金和投资银行，同时也适用于律师事务所等其他专业领域。
2025-04-15
公共议题:AI如何助力HR业务? 研讨目标： 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状，识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物)： 请输出10个业务价值高、具备可行性的AI应用场景介绍，并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您生成的 10 个业务价值高、具备可行性的 AI 应用场景介绍： 1. 人才招聘与筛选 What：利用 AI 技术对求职者的简历进行自动筛选和分析，评估其与岗位的匹配度。 Why：节省 HR 大量的时间和精力，提高招聘效率和准确性。 How：通过自然语言处理和机器学习算法，训练模型识别关键信息和技能。 2. 员工培训与发展 What：根据员工的技能水平和职业发展目标，定制个性化的培训计划。 Why：提升员工的能力和绩效，增强员工对企业的忠诚度。 How：利用大数据分析员工的工作表现和学习需求，推荐相关课程和学习资源。 3. 薪酬福利管理 What：运用 AI 预测市场薪酬趋势，为企业制定合理的薪酬策略。 Why：保持企业薪酬的竞争力，吸引和留住优秀人才。 How：收集和分析行业薪酬数据，结合企业的财务状况和战略目标进行优化。 4. 员工绩效评估 What：借助 AI 实时监测员工的工作表现，提供客观的绩效评估。 Why：减少人为偏差，确保评估的公正性和准确性。 How：利用工作流程数据和行为分析模型进行评估。 5. 员工关系管理 What：通过 AI 分析员工的情绪和满意度，及时发现问题并解决。 Why：营造良好的工作氛围，提高员工的工作积极性和创造力。 How：使用情感分析技术处理员工的反馈和交流信息。 6. 组织架构优化 What：利用 AI 分析企业的业务流程和人员配置，提供组织架构调整建议。 Why：提高企业的运营效率和灵活性，适应市场变化。 How：基于数据分析和模拟优化算法进行评估和推荐。 7. 人力资源规划 What：根据企业的战略目标和业务发展预测人力资源需求。 Why：提前做好人才储备和招聘计划，保障企业的正常运营。 How：运用数据分析和预测模型进行规划。 8. 企业文化传播 What：使用 AI 生成个性化的企业文化宣传内容，提高传播效果。 Why：增强员工对企业文化的认同感和归属感。 How：利用自然语言生成技术和个性化推荐算法。 9. 智能客服 What：在 HR 服务中引入 AI 客服，解答员工常见问题。 Why：快速响应员工需求，提高服务质量。 How：训练智能客服模型，涵盖常见的 HR 问题和解决方案。 10. 人才库管理 What：利用 AI 对人才库进行分类和更新，提高人才库的利用效率。 Why：方便快速找到合适的人才，降低招聘成本。 How：运用数据挖掘和分类算法进行管理。
2025-04-14
公共议题:AI如何助力HR业务? 研讨目标： 深入理解:深入探讨 AI在人力资源管理领域的应用、薪酬管理、员工关系、公司文化、包括人才获取与配置、学习与发展、组织与人才培、HR共享与HRIS等各模块的可应用场景 机会识别与场景落地:基于组织现状，识别出业务价值高、可落地的 A 应用场景; 研讨成果(输出物)： 请输出3-5个业务价值高、具备可行性的AI应用场景介绍，并说明what(场景是什么)、why(为什么值得做)、How(如何落地);
以下是为您提供的 3 个业务价值高、具备可行性的 AI 应用场景介绍： 场景一：AI 在企业招聘中的应用 What：利用 AI 技术进行简历筛选、人才匹配和面试评估。 Why：能够快速处理大量简历，提高招聘效率和准确性，节省人力和时间成本，同时更精准地找到符合岗位需求的人才。 How：通过引入相关的 AI 招聘软件，与企业现有的招聘系统集成，对简历进行关键词提取和分析，利用机器学习算法进行人才匹配，并通过视频面试中的语音和表情分析辅助评估候选人。 场景二：AI 助力个性化人力资源管理 What：根据员工的个人特点和工作表现，提供个性化的培训计划、职业发展建议和绩效评估。 Why：能够充分发挥员工的潜力，提高员工满意度和忠诚度，促进企业的长期发展。 How：收集员工的工作数据、学习记录和绩效表现等信息，运用 AI 算法进行分析和预测，为员工制定专属的发展方案，并通过移动应用或内部系统向员工推送相关建议和培训课程。 场景三：AI 打造无人值守的 HR 平台 What：实现 HR 业务的自动化处理，如员工请假审批、薪酬计算和福利发放等。 Why：减少人工操作的错误和繁琐流程，提高 HR 工作的效率和准确性，使 HR 人员能够专注于更有价值的战略工作。 How：整合企业内部的各种 HR 系统和数据，利用 RPA 和 AI 技术实现流程的自动化，同时建立监控和预警机制，确保平台的稳定运行。
2025-04-14
准确的讲述垂直大模型的概念，国内外的应用现状、场景，发展趋势，最好能附带图片。内容尽量详细、逻辑通顺。
垂直大模型是专注于特定领域的大模型，例如小语种交流、临床医学、AI 蛋白质结构预测等。 在国内，大模型分为通用模型如文心一言、讯飞星火等，处理自然语言；也有垂直模型专注特定领域。 大模型因其强大的语言理解和生成能力，在多个领域和应用场景中表现出色。比较火的应用场景包括： 1. 文本生成和内容创作：撰写文章、生成新闻报道、创作诗歌和故事等。 2. 聊天机器人和虚拟助手：提供客户服务、日常任务提醒和信息咨询等服务。 3. 编程和代码辅助：代码自动补全、bug 修复和代码解释。 4. 翻译和跨语言通信：促进不同语言背景的用户之间的沟通和信息共享。 5. 情感分析和意见挖掘：为市场研究和产品改进提供数据支持。 6. 教育和学习辅助：创建个性化的学习材料、自动回答学生问题和提供语言学习支持。 7. 图像和视频生成：如 DALLE 等模型可以根据文本描述生成相应的图像，甚至在未来可能扩展到视频内容的生成。 8. 游戏开发和互动体验：创建游戏中的角色对话、故事情节生成和增强玩家的沉浸式体验。 9. 医疗和健康咨询：理解和回答医疗相关的问题，提供初步的健康建议和医疗信息查询服务。 10. 法律和合规咨询：帮助解读法律文件，提供合规建议，降低法律服务的门槛。 关于发展趋势，尽管当前市场以基础大模型为主，但将大模型与行业专业知识结合，以满足不同行业的需求，成为未来发展的关键。例如腾讯研究院的《行业大模型调研报告》指出，如何将大模型与行业专业知识结合是重点。同时，在发展过程中也需要注意其在隐私、安全和伦理方面的挑战。 很抱歉，暂时无法为您提供相关图片。
2025-04-11
随着 ChatGPT、Deepseek 等 AI 技术的爆发式发展，人工智能正在加速渗透各行业应用场景，包括茶饮行业。请你对 AI 技术在茶饮行业的影响进行研究分析，并提出 AI 技术可以在连锁奶茶店如何应用的设想。
以下是关于 AI 技术在茶饮行业的影响分析及在连锁奶茶店应用的设想： 影响分析： 1. 提升运营效率：通过自动化流程和智能预测，优化库存管理、员工排班等环节。 2. 改善客户体验：利用智能客服快速响应顾客咨询，提供个性化推荐。 3. 精准营销：基于大数据分析顾客偏好，制定更有针对性的营销策略。 应用设想： 1. 智能点单系统：根据顾客的历史订单和偏好，为其推荐饮品和搭配。 2. 库存管理优化：借助 AI 预测销售趋势，精准控制原材料库存。 3. 员工培训辅助：利用虚拟培训工具，提升员工的服务技能和产品知识。 4. 营销决策支持：通过数据分析，确定最佳的促销活动和推广渠道。 目前的知识库中，相关的具体研究报告主要有： 1. 浙江大学：《DeepSeek 技术溯源及前沿探索朱强》（2025/03/19），介绍了语言模型从基于统计的 Ngram 到 Transformer 的技术演化，以及大模型的发展，如 GPT 系列。 2. 浙江大学：《DeepSeek：回望 AI 三大主义与加强通识教育报告》（2025/03/05），围绕人工智能展开，介绍其发展历程、三大主义、技术进展、应用成果以及教育举措。 3. 清华大学：《气象人工智能技术与应用报告》（2024/12/25），围绕气象人工智能展开，介绍了其发展和应用情况。 如需下载这些研究报告，可。
2025-04-09