基于大模型的应用开发主要包括哪些方向和相应的技术栈？

目前，百度智能云拥有全栈AI技术，形成端到端的AI优化机制。在IaaS层，百度智能云百舸AI异构计算平台解决大模型应用中的算力问题。它提供了从集群创建到模型训练、推理的完整算力管理方案，显著提升了算力管理能力和模型训练效率。百舸平台通过引入自动故障预测与任务迁移技术，确保了高达99.5%的有效训练时间，大模型应用落地提供了强大的算力支撑。在Paas层，百度智能云千帆大模型平台解决大模型的调用、开发和应用开发问题，支持调用文心大模型全系列模型，还提供了全面的工具链，支持定制化的模型开发。在应用开发上，千帆大模型平台通过AppBuilder，提供企业级Agent和企业级RAG开发能力。更重要的是，千帆平台可以将企业应用中产生的数据经过评估和对齐进一步反馈到模型中，形成良性循环，持续优化模型性能。在SaaS层，百度智能云提供了丰富的常用应用供客户选择，包括数字人平台曦灵、智能客服应用客悦等等。依托百度智能云打造的大模型落地全栈生态的领先优势，百度大模型获得了最多行业企业客户的认可。IDC发布的《中国生成式AI应用开发平台市场：企业统一AI开发平台的雏形》报告显示，在战略领先、数据集成、模型调优、模型部署、加速计算能力、工程化能力、平台生态、用户体验7大评估项目中，百度智能云获得七项满分，位于所有大模型平台厂商第一名。数据来源：IDC《中国生成式AI应用开发平台市场：企业统一AI开发平台的雏形》报告

经过调研，我决定先采取Langchain+Ollama的技术栈来作为demo实现，当然，后续我也会考虑使用dify、fastgpt等更加直观易用的AI开发平台。整体框架设计思路如下：另外，本次开发的运行环境是Intel Mac，其他操作系统也可以。下载模型等可能需要梯子。Langchain简介https://www.langchain.com/langchainLangchain是当前大模型应用开发的主流框架之一，旨在帮助开发者构建和部署基于大型语言模型（LLM）的应用。它提供了一系列的工具和接口，使得与LLM交互变得简单。通过Langchain，开发者可以轻松创建定制的高级应用，如聊天机器人、问答系统和多种智能应用。Langchain的核心在于其“链”概念，这是一个模块化的组件系统，包括Model I/O（模型输入输出）、Retrieval（数据检索）、Chains（链）、Agents（代理）、Memory（内存）、和Callbacks（回调）。这些组件可灵活组合，以支持复杂的应用逻辑。Model I/O模块负责处理与语言模型的直接交互，包括发送请求和解析响应。Retrieval模块用于增强语言模型的回答能力，通过向量数据库检索相关信息来支持回答生成。Chains模块则是多个组件的集成，用于构建更复杂的应用逻辑。Langchain的生态系统还包括LangSmith、LangGraph和LangServe等工具，这些工具能帮助开发者高效管理从原型到生产的各个阶段，以便优化LLM应用。Ollama简介https://ollama.com/Ollama是一个开箱即用的用于在本地运行大模型的框架。它的主要功能和特点包括：

在智能终端行业，根据媒体报道，中国超半数手机厂商都在使用文心大模型，包括三星、荣耀、vivo、OPPO、小米等主流手机品牌；上汽大众、吉利汽车、蔚来汽车、长安汽车等十余家车企已接入百度文心大模型。整体来看，在主流大模型厂商中，百度表现突出，拿下最关键的中标项目数量、中标金额两项第一。根据百度披露的数据，截至11月，其文心大模型日均调用量超过15亿次，千帆平台帮助客户精调了3.3万个模型、开发了77万个企业应用。今年三季度财报披露，百度智能云营收达49亿元，同比增长11%，百度智能云的增长主要由互联网、教育、金融等行业对模型训练和推理的高需求带动。这与前文所述百度大模型中标行业相一致。2024年，百度在大模型落地交出的成绩单可谓亮眼。大模型时代，AI基础设施的正确范式事实上，大模型进入产业落地后，除了大模型本身能力质量要过硬外，落地应用所需要的全栈技术能力、工程化配套工具等等对落地效果有直接影响。企业想要真正将大模型在自身场景落地，需要具备构建算力、数据治理、模型训练、场景落实、应用搭建、持续运营、安全合规等整套能力。这也就意味着，在大模型落地赋能企业智能化时，能力比拼从单项变为全能比拼（大模型自身、工程能力、工具平台等）。大模型的竞争，正在加速成为体系化之战。