LLM应用场景

2、模型的训练成本与部署推理的成本降低到接近2年企业服务支出的费用成本左右（即客户期望应用LLM虽然有较高的投入，但是不要高于以往的非LLM服务的2倍）这样既可以享受大模型的泛化能力并贴合技术热点，又可以在成本支出上打出一年投入、两年回本的概念。3、模型应用工程的服务尽量标准且可控，通过应用工程来让LLM与企业业务流快速且顺畅的打通，最终促成在多业务场景落地。目前进展最快的是应用工程的探索推进，（因为模型能力受限于行业数据的短缺，而模型推理成本又受限算力的卡脖子），应用工程上有三个方向比较受关注：1、基于行业数据微调小体量模型，通过一些指令数据来实现小模型对某些固定任务的有效处理，这比较适用于一些较稳定的行业业务，这些业务的特点可能是多年不发生明显变化的，比如白电企业的基于知识库的问题分析和解决。2、采用LangChain、Agent思路的流程自动化工程框架，然后结合各种工具，并与企业的各数据库对接，从而实现更先进、可用性更高、泛化性更强的RPA方案。这也是当前做ToB业务Agent的主流方向，并且与当前很多企业正在进行的业务数字化相辅相成。

如今，OpenAI已成为语言模型领域的领导者。我们接触的几乎所有开发者都是使用OpenAI API启动新的LLM应用，通常使用的是gpt-4或gpt-4-32k模型。这为应用性能提供了最佳的场景，且易于使用，因为它在广泛的输入领域中运行，并且通常不需要微调或自托管。当项目投入生产并开始规模化时，更广泛的选择就会发挥作用。我们听到的一些常见问题包括：切换到gpt-3.5-turbo：它比GPT-4[便宜约50倍](https://github.com/ray-project/llm-numbers)，而且速度明显更快。许多应用程序不需要GPT-4级别的准确性，但确实需要低延迟推理和对免费用户的成本有效支持。与其他专有供应商（尤其是Anthropic的Claude模型）进行实验：Claude提供快速推理、GPT-3.5级精度、针对大客户的更多定制选项以及高达100k的上下文窗口（尽管我们发现精度会随着长度的增加而降低）输入。将一些请求分流到开源模型：这在高流量的B2C用例（如搜索或聊天）中可能尤其有效，其中查询复杂性有较大的差异，且需要便宜地为免费用户提供服务。

1、实现某个NLP任务，比如对业务中的一些意图进行识别与分类，需要收集对应的业务数据上千条并进行人工标注，然后训练bert模型，再进行针对性的优化，时长可能要一个月，且交付后较难进行意图的新增和任务的泛化。因此很多时候甚至使用句式规则的方式更好进行维护与更新。2、构建知识图谱虽然可以有效的将公司级、行业级的知识承载起来并进行不断更新与可视化展示，但知识图谱的构建非常的复杂，需要与行业专家深度讨论，并要预见企业长远业务发展的可能性来制定schema，稍有不慎就可能图谱与业务错位，满盘皆输。并且一个图谱从建立、数据抽取、蒸馏、审查、可用、直到可与线上数据接轨做到自动更新，至少会有半年的周期。3、NLG基本上还是拼接为主，有多少人工规则就有多少智能。而LLM横空出世后，对NLP、NLG、KG都有较大的提升，因此严格意义上来说这三类场景都可以因为效率和效果的大幅提升而有更好、更多可能的落地方式。