Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

LLM

Answer

系统学习 LLM 开发是一个系统性的过程，涵盖以下方面：

  1. 掌握深度学习和自然语言处理基础：包括机器学习、深度学习、神经网络等基础理论，以及自然语言处理中的词向量、序列模型、注意力机制等。相关课程有吴恩达的深度学习课程、斯坦福 cs224n 等。
  2. 理解 Transformer 和 BERT 等模型原理：熟悉 Transformer 模型架构及自注意力机制原理，掌握 BERT 的预训练和微调方法，阅读相关论文如 Attention is All You Need、BERT 论文等。
  3. 学习 LLM 模型训练和微调：进行大规模文本语料预处理，使用 LLM 预训练框架如 PyTorch、TensorFlow 等，微调 LLM 模型进行特定任务迁移。相关资源有 HuggingFace 课程、论文及开源仓库等。
  4. LLM 模型优化和部署：掌握模型压缩、蒸馏、并行等优化技术，进行模型评估和可解释性研究，实现模型服务化、在线推理、多语言支持等。相关开源工具有 ONNX、TVM、BentoML 等。
  5. LLM 工程实践和案例学习：结合行业场景进行个性化的 LLM 训练，分析和优化具体 LLM 工程案例，研究 LLM 新模型、新方法的最新进展。
  6. 持续跟踪前沿发展动态：关注顶会最新论文、技术博客等资源。

以下是 2 月 19 日的 Xiaohu.AI 日报相关内容：

  1. Large World Model(LWM)探索：介绍了百万 Token 的通用世界大模型，旨在理解长视频和超长文本。LWM 在 100 万个令牌的上下文中超越 GPT-4V 和 Gemini Pro 的检索精度，特色能力包括长视频理解、高精度事实检索和多格式内容生成。相关链接：https://largeworldmodel.github.io 、https://github.com/LargeWorldModel/LWM 、https://x.com/xiaohuggg/status/1759566391693504940?s=20
  2. 世界上最快的大型语言模型(LLM)：Mixtral 8X7B 输出速度为 500 token/s，Llama 2 7B 的速度是 750 tokens/s，速度快但准确性有待提高。相关链接：http://groq.com 、http://wow.groq.com 、https://x.com/xiaohuggg/status/1759457147962941852?s=20
  3. Reddit 用户自制 GLIGEN GUI：由于缺少直观的 GUI，一个 Reddit 大佬自己动手制作了一个。用户可以自定义图像中对象的大小、位置和空间关系，强调了用户对生成图像细节的控制能力。相关链接：https://github.com/mut-ex/gligen-gui 、https://gligen.github.io 、https://x.com/xiaohuggg/status/1759431911951450437?s=20
Content generated by AI large model, please carefully verify (powered by aily)

References

问：怎么系统学习 llm 开发？

学习大型语言模型（LLM）的开发是一个系统性的过程，需要涵盖多个方面的知识和技能。以下是一些建议的学习路径和资源：1.掌握深度学习和自然语言处理基础-机器学习、深度学习、神经网络等基础理论-自然语言处理基础，如词向量、序列模型、注意力机制等-相关课程：吴恩达的深度学习课程、斯坦福cs224n等2.理解Transformer和BERT等模型原理-Transformer模型架构及自注意力机制原理-BERT的预训练和微调方法-掌握相关论文，如Attention is All You Need、BERT论文等3.学习LLM模型训练和微调-大规模文本语料预处理-LLM预训练框架，如PyTorch、TensorFlow等-微调LLM模型进行特定任务迁移-相关资源：HuggingFace课程、论文及开源仓库等4.LLM模型优化和部署-模型压缩、蒸馏、并行等优化技术-模型评估和可解释性-模型服务化、在线推理、多语言支持等-相关资源：ONNX、TVM、BentoML等开源工具5.LLM工程实践和案例学习-结合行业场景，进行个性化的LLM训练-分析和优化具体LLM工程案例-研究LLM新模型、新方法的最新进展6.持续跟踪前沿发展动态-关注顶会最新论文、技术博客等资源

XiaoHu.AI日报

?Xiaohu.AI日报「2月19日」✨✨✨✨✨✨✨✨1⃣️?Large World Model(LWM)探索：介绍了百万Token的通用世界大模型，旨在理解长视频和超长文本。LWM在100万个令牌的上下文中超越GPT-4V和Gemini Pro的检索精度。特色能力包括长视频理解、高精度事实检索和多格式内容生成。?https://largeworldmodel.github.io?https://github.com/LargeWorldModel/LWM?https://x.com/xiaohuggg/status/1759566391693504940?s=202⃣️⚡世界上最快的大型语言模型(LLM)Mixtral 8X7B 500 token/s的输出速度Llama 2 7B的速度是750 tokens/s速度快但准确性有待提高。?http://groq.com?http://wow.groq.com?https://x.com/xiaohuggg/status/1759457147962941852?s=203⃣️?Reddit用户自制GLIGEN GUI：由于缺少直观的GUI，一个Reddit大佬自己动手制作了一个。用户可以自定义图像中对象的大小、位置和空间关系。强调了用户对生成图像细节的控制能力。?https://github.com/mut-ex/gligen-gui?https://gligen.github.io?https://x.com/xiaohuggg/status/1759431911951450437?s=204⃣️

XiaoHu.AI日报

?Xiaohu.AI日报「2月19日」✨✨✨✨✨✨✨✨1⃣️?Large World Model(LWM)探索：介绍了百万Token的通用世界大模型，旨在理解长视频和超长文本。LWM在100万个令牌的上下文中超越GPT-4V和Gemini Pro的检索精度。特色能力包括长视频理解、高精度事实检索和多格式内容生成。?https://largeworldmodel.github.io?https://github.com/LargeWorldModel/LWM?https://x.com/xiaohuggg/status/1759566391693504940?s=202⃣️⚡世界上最快的大型语言模型(LLM)Mixtral 8X7B 500 token/s的输出速度Llama 2 7B的速度是750 tokens/s速度快但准确性有待提高。?http://groq.com?http://wow.groq.com?https://x.com/xiaohuggg/status/1759457147962941852?s=203⃣️?Reddit用户自制GLIGEN GUI：由于缺少直观的GUI，一个Reddit大佬自己动手制作了一个。用户可以自定义图像中对象的大小、位置和空间关系。强调了用户对生成图像细节的控制能力。?https://github.com/mut-ex/gligen-gui?https://gligen.github.io?https://x.com/xiaohuggg/status/1759431911951450437?s=204⃣️

Others are asking
LLM应用可观测性
LLM 应用的可观测性主要体现在以下方面： LangChain：借助 LangSmith 提供更好的日志、可视化、播放和跟踪功能，以便监控和调试 LLM 应用。LangSmith 是基于 Web 的工具，能查看和分析细化到 class 的输入和输出，还提供跟踪功能，用于记录和展示 LLM 应用的执行过程和状态，以及 LLM 的内部信息和统计数据。 Langfuse：为大模型应用提供开源可观测性和分析功能，在可视化界面中可探索和调试复杂的日志和追踪，并使用直观的仪表板改善成本、降低成本、减少延迟，提高响应质量。 此外，微软（中国）的《面向大模型的新编程范式》报告中也强调了在线监控和可观测性的重要性。
2025-04-11
LLM模型响应时间较长，如何处理超时时间问题
处理 LLM 模型响应时间过长导致的超时问题，可以考虑以下方法： 1. 参数有效调整：这是一种新颖的微调方法，通过仅训练一部分参数来减轻微调 LLM 的挑战。这些参数可能是现有模型参数的子集，或者是一组全新的参数，例如向模型添加一些额外的层或额外的嵌入到提示中。 2. 优化提示设计：采用合适的提示方法，如零样本提示、一次性提示、Fewshot prompting 等。零样本提示是只给出描述任务的提示；一次性提示是让 LLM 执行任务的单个示例；Fewshot prompting 是让 LLM 执行任务的少量示例。同时，可以使用结构化模式设计提示，包含上下文、问题示例及相应答案等组件，以指示模型应如何响应。 3. 避免频繁调整某些参数：尤其是 Top K 和 Top P，不需要经常对其进行调整。 4. 关注模型响应质量：即使有良好的提示设计，模型输出仍可能不稳定，需要持续关注和优化。 5. 考虑成本和时间：微调大型模型可能耗时且成本高，为大模型提供服务也可能涉及额外麻烦和成本，需要综合评估和优化。
2025-04-11
除了LLM，就没有AI模型了吗？
除了 LLM ，还有很多其他类型的 AI 模型。以下为您详细介绍： 1. 生成式 AI：可以生成文本、图片、音频、视频等内容形式。其中生成图像的扩散模型就不是大语言模型。 2. 机器学习：电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习：有标签的训练数据，算法的目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习：学习的数据没有标签，算法自主发现规律。经典任务包括聚类，比如拿一堆新闻文章，让模型根据主题或内容特征分成具有相似特征的组。 强化学习：从反馈里学习，最大化奖励或最小化损失，类似训小狗。 3. 深度学习：一种参照人脑有神经网络和神经元的方法（因为有很多层所以叫深度）。神经网络可以用于监督学习、无监督学习、强化学习。 4. 谷歌的 BERT 模型：可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。生成式 AI 生成的内容，叫做 AIGC 。
2025-04-11
linux下安装 anythingLLM
以下是在 Linux 下安装 AnythingLLM 的相关指导： 1. 安装地址：https://useanything.com/download 。 2. 安装完成后会进入配置页面，主要分为三步： 第一步：选择大模型。 第二步：选择文本嵌入模型。 第三步：选择向量数据库。 3. AnythingLLM 中有 Workspace 的概念，可以创建自己独有的 Workspace 与其他项目数据进行隔离。 首先创建一个工作空间。 上传文档并且在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型会根据自己的训练数据和上传的文档数据综合给出答案）和 Query 模式（大模型仅仅会依靠文档中的数据给出答案）。 4. 完成上述配置后，即可与大模型进行对话。 此外，在 GitHubDaily 开源项目列表 2023 年复盘的 AIGC 部分中，也有关于 AnythingLLM 的介绍： 是一个可打造成企业内部知识库的私人专属 GPT！可以将任何文档、资源或内容转换为大语言模型（LLM）知识库，使得在对话过程中可引用到里面的内容。 本文的思路来源于视频号博主黄益贺，作者按照他的视频进行了实操，并附加了一些关于 RAG 的额外知识。
2025-03-27
anythingLLM本地部署
以下是关于本地部署大模型以及搭建个人知识库的相关内容： 一、引言 作者是大圣，一个致力于使用 AI 工具将自己打造为超级个体的程序员，目前沉浸于 AI Agent 研究。本文将分享如何部署本地大模型及搭建个人知识库，读完可学习到如何使用 Ollama 一键部署本地大模型、了解 ChatGPT 信息流转、RAG 概念及核心技术、通过 AnythingLLM 搭建本地化数据库等。 五、本地知识库进阶 如果想要对知识库进行更灵活掌控，需要额外软件 AnythingLLM，它包含所有 Open WebUI 能力，并额外支持选择文本嵌入模型和向量数据库。 安装地址：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步： 1. 第一步：选择大模型。 2. 第二步：选择文本嵌入模型。 3. 第三步：选择向量数据库。 构建本地知识库： AnythingLLM 中有 Workspace 概念，可创建独有 Workspace 与其他项目数据隔离。 1. 首先创建一个工作空间。 2. 上传文档并在工作空间中进行文本嵌入。 3. 选择对话模式，提供 Chat 模式（大模型根据训练数据和上传文档综合给出答案）和 Query 模式（大模型仅依靠文档数据给出答案）。 配置完成后可进行测试对话。 六、写在最后 作者推崇“看十遍不如实操一遍，实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣，可联系作者或加其免费知识星球（备注 AGI 知识库）。 本文思路来源于视频号博主黄益贺，作者按照其视频进行实操并附加了一些关于 RAG 的额外知识。
2025-03-26
LLM的原理
LLM（大语言模型）的工作原理如下： 以“我今天吃了狮子头和蔬菜”这句话为例，在 Transformer 中，会由 Attention 层对其加入更多信息补充，如“狮子头是一道菜”“今天是星期六”等，这些补充信息作为输入给到下一个 Attention 层，层与层之间，哪些信息补充、保留、传递，由模型自主学习，最终模型把海量数据以关系网形式“消化”并保留重要相关性。 形象地说，就像人阅读文章时的连贯性注意力过程，在阅读理解时，脑子里会消化吸收记忆，记忆的不是点状知识，而是网状经验。 大模型以词向量和 Transformer 模型学习海量知识，把知识作为向量空间中的关系网存储，接受输入时通过向量空间中的匹配进行输出。 观察大模型回复，是一个字一个字流式输出的，因为大模型确实在一个字一个字地推理生成内容。比如输入法输入联想，根据输入的单个字推测下一个字，加入上下文能帮助模型理解下一个字。但存在两个问题：一是全量数据计算算力吃不消，二是仅算字的概率易被不相干信息干扰，此时词向量机制和 Transformer 模型中的 Attention 自注意力机制解决了难题。 另外，RAG 对大语言模型的作用就像开卷考试对学生，事实性知识与 LLM 的推理能力相分离，被存储在容易访问和及时更新的外部知识源中，分为参数化知识（模型训练中学习得到，隐式储存在神经网络权重中）和非参数化知识（存储在外部知识源，如向量数据库中）。
2025-03-25