Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

llm项目

Answer

以下是一些与 LLM 项目相关的信息：

Content generated by AI large model, please carefully verify (powered by aily)

References

LLM开源中文大语言模型及数据集集合

Luotuo-Chinese-LLM：地址：[https://github.com/LC1332/Luotuo-Chinese-LLM](https://github.com/LC1332/Luotuo-Chinese-LLM)简介：囊括了一系列中文大语言模型开源项目，包含了一系列基于已有开源模型（ChatGLM,MOSS,LLaMA）进行二次微调的语言模型，指令微调数据集等。Linly：地址：[https://github.com/CVI-SZU/Linly](https://github.com/CVI-SZU/Linly)简介：提供中文对话模型Linly-ChatFlow、中文基础模型Linly-Chinese-LLaMA及其训练数据。中文基础模型以LLaMA为底座，利用中文和中英平行增量预训练。项目汇总了目前公开的多语言指令数据，对中文模型进行了大规模指令跟随训练，实现了Linly-ChatFlow对话模型。ChatYuan地址：[https://github.com/clue-ai/ChatYuan](https://github.com/clue-ai/ChatYuan)简介：元语智能发布的一系列支持中英双语的功能型对话语言大模型，在微调数据、人类反馈强化学习、思维链等方面进行了优化。ChatRWKV：地址：[https://github.com/BlinkDL/ChatRWKV](https://github.com/BlinkDL/ChatRWKV)简介：开源了一系列基于RWKV架构的Chat模型（包括英文和中文），发布了包括Raven，Novel-ChnEng，Novel-Ch与Novel-ChnEng-ChnPro等模型，可以直接闲聊及进行诗歌，小说等创作，包括7B和14B等规模的模型。

无需微调，仅用提示词工程就能让 LLM 获得 tool calling 的功能

大家好，我是一个开源项目作者ailm。目前，绝大多数小型本地开源大语言模型以及部分商用大模型接口都不支持稳定的tool calling功能。而现有的解决方案是微调LLM，这导致大量的时间和算力被浪费。本文提出一种仅使用提示词工程和一些精巧的代码设计，即可让LLM获得稳定的tool calling能力。本文使用多个不具备tool calling能力的LLM作为测试模型，在多个工具调用任务上进行实验，成功率为100%。本文所有工作是基于comfyui开发，适合完全没有代码基础的小伙伴们复现并且按自己的想法修改我的工作。

XiaoHu.AI日报

?Xiaohu.AI日报「1月29日」✨✨✨✨✨✨✨✨1⃣️?LLMs-from-scratch项目：详细解释LLMs的工作原理。提供创建自己的LLM的逐步指南。适合企业团队、初创公司和教育机构学习。?https://github.com/rasbt/LLMs-from-scratch?https://x.com/xiaohuggg/status/1751890557805449693?s=202⃣️?SliceGPT-微软开发的大语言模型压缩方法：在保持高性能的同时大幅减少模型参数。允许在更少的GPU上运行，提高运行速度。显著降低了在消费级GPU上的总计算量。?https://arxiv.org/abs/2401.15024?https://x.com/xiaohuggg/status/1751880365307011182?s=203⃣️?️?VisualWebArena-自主智能体的视觉网络任务基准测试：评估智能体在网络环境中的规划、推理和执行任务能力。着重于视觉信息的重要性和多模态智能体评估。提供深入的定量和定性分析，揭示LLM智能体的限制。?https://arxiv.org/abs/2401.13649?https://jykoh.com/vwa?https://x.com/dotey/status/1751746302155632925?s=204⃣️?百川智能的Baichuan 3模型：中文任务评测表现卓越，超越GPT-4。在医疗领域和中华传统文化理解方面表现突出。引入创新技术，提高训练效率和数据质量。?https://x.com/xiaohuggg/status/1751830719222124727?s=205⃣️?Apple Vision Pro最新宣传片：?https://x.com/xiaohuggg/status/1751789758186238100?s=20

Others are asking
LLM应用可观测性
LLM 应用的可观测性主要体现在以下方面： LangChain：借助 LangSmith 提供更好的日志、可视化、播放和跟踪功能，以便监控和调试 LLM 应用。LangSmith 是基于 Web 的工具，能查看和分析细化到 class 的输入和输出，还提供跟踪功能，用于记录和展示 LLM 应用的执行过程和状态，以及 LLM 的内部信息和统计数据。 Langfuse：为大模型应用提供开源可观测性和分析功能，在可视化界面中可探索和调试复杂的日志和追踪，并使用直观的仪表板改善成本、降低成本、减少延迟，提高响应质量。 此外，微软（中国）的《面向大模型的新编程范式》报告中也强调了在线监控和可观测性的重要性。
2025-04-11
LLM模型响应时间较长，如何处理超时时间问题
处理 LLM 模型响应时间过长导致的超时问题，可以考虑以下方法： 1. 参数有效调整：这是一种新颖的微调方法，通过仅训练一部分参数来减轻微调 LLM 的挑战。这些参数可能是现有模型参数的子集，或者是一组全新的参数，例如向模型添加一些额外的层或额外的嵌入到提示中。 2. 优化提示设计：采用合适的提示方法，如零样本提示、一次性提示、Fewshot prompting 等。零样本提示是只给出描述任务的提示；一次性提示是让 LLM 执行任务的单个示例；Fewshot prompting 是让 LLM 执行任务的少量示例。同时，可以使用结构化模式设计提示，包含上下文、问题示例及相应答案等组件，以指示模型应如何响应。 3. 避免频繁调整某些参数：尤其是 Top K 和 Top P，不需要经常对其进行调整。 4. 关注模型响应质量：即使有良好的提示设计，模型输出仍可能不稳定，需要持续关注和优化。 5. 考虑成本和时间：微调大型模型可能耗时且成本高，为大模型提供服务也可能涉及额外麻烦和成本，需要综合评估和优化。
2025-04-11
除了LLM，就没有AI模型了吗？
除了 LLM ，还有很多其他类型的 AI 模型。以下为您详细介绍： 1. 生成式 AI：可以生成文本、图片、音频、视频等内容形式。其中生成图像的扩散模型就不是大语言模型。 2. 机器学习：电脑找规律学习，包括监督学习、无监督学习、强化学习。 监督学习：有标签的训练数据，算法的目标是学习输入和输出之间的映射关系，包括分类和回归。 无监督学习：学习的数据没有标签，算法自主发现规律。经典任务包括聚类，比如拿一堆新闻文章，让模型根据主题或内容特征分成具有相似特征的组。 强化学习：从反馈里学习，最大化奖励或最小化损失，类似训小狗。 3. 深度学习：一种参照人脑有神经网络和神经元的方法（因为有很多层所以叫深度）。神经网络可以用于监督学习、无监督学习、强化学习。 4. 谷歌的 BERT 模型：可用于语义理解（不擅长文本生成），如上下文理解、情感分析、文本分类。 2017 年 6 月，谷歌团队发表论文《Attention is All You Need》，首次提出了 Transformer 模型，它完全基于自注意力机制（SelfAttention）来处理序列数据，而不需要依赖于循环神经网络（RNN）或卷积神经网络（CNN）。生成式 AI 生成的内容，叫做 AIGC 。
2025-04-11
linux下安装 anythingLLM
以下是在 Linux 下安装 AnythingLLM 的相关指导： 1. 安装地址：https://useanything.com/download 。 2. 安装完成后会进入配置页面，主要分为三步： 第一步：选择大模型。 第二步：选择文本嵌入模型。 第三步：选择向量数据库。 3. AnythingLLM 中有 Workspace 的概念，可以创建自己独有的 Workspace 与其他项目数据进行隔离。 首先创建一个工作空间。 上传文档并且在工作空间中进行文本嵌入。 选择对话模式，提供了 Chat 模式（大模型会根据自己的训练数据和上传的文档数据综合给出答案）和 Query 模式（大模型仅仅会依靠文档中的数据给出答案）。 4. 完成上述配置后，即可与大模型进行对话。 此外，在 GitHubDaily 开源项目列表 2023 年复盘的 AIGC 部分中，也有关于 AnythingLLM 的介绍： 是一个可打造成企业内部知识库的私人专属 GPT！可以将任何文档、资源或内容转换为大语言模型（LLM）知识库，使得在对话过程中可引用到里面的内容。 本文的思路来源于视频号博主黄益贺，作者按照他的视频进行了实操，并附加了一些关于 RAG 的额外知识。
2025-03-27
anythingLLM本地部署
以下是关于本地部署大模型以及搭建个人知识库的相关内容： 一、引言 作者是大圣，一个致力于使用 AI 工具将自己打造为超级个体的程序员，目前沉浸于 AI Agent 研究。本文将分享如何部署本地大模型及搭建个人知识库，读完可学习到如何使用 Ollama 一键部署本地大模型、了解 ChatGPT 信息流转、RAG 概念及核心技术、通过 AnythingLLM 搭建本地化数据库等。 五、本地知识库进阶 如果想要对知识库进行更灵活掌控，需要额外软件 AnythingLLM，它包含所有 Open WebUI 能力，并额外支持选择文本嵌入模型和向量数据库。 安装地址：https://useanything.com/download 。安装完成后进入配置页面，主要分为三步： 1. 第一步：选择大模型。 2. 第二步：选择文本嵌入模型。 3. 第三步：选择向量数据库。 构建本地知识库： AnythingLLM 中有 Workspace 概念，可创建独有 Workspace 与其他项目数据隔离。 1. 首先创建一个工作空间。 2. 上传文档并在工作空间中进行文本嵌入。 3. 选择对话模式，提供 Chat 模式（大模型根据训练数据和上传文档综合给出答案）和 Query 模式（大模型仅依靠文档数据给出答案）。 配置完成后可进行测试对话。 六、写在最后 作者推崇“看十遍不如实操一遍，实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣，可联系作者或加其免费知识星球（备注 AGI 知识库）。 本文思路来源于视频号博主黄益贺，作者按照其视频进行实操并附加了一些关于 RAG 的额外知识。
2025-03-26
LLM的原理
LLM（大语言模型）的工作原理如下： 以“我今天吃了狮子头和蔬菜”这句话为例，在 Transformer 中，会由 Attention 层对其加入更多信息补充，如“狮子头是一道菜”“今天是星期六”等，这些补充信息作为输入给到下一个 Attention 层，层与层之间，哪些信息补充、保留、传递，由模型自主学习，最终模型把海量数据以关系网形式“消化”并保留重要相关性。 形象地说，就像人阅读文章时的连贯性注意力过程，在阅读理解时，脑子里会消化吸收记忆，记忆的不是点状知识，而是网状经验。 大模型以词向量和 Transformer 模型学习海量知识，把知识作为向量空间中的关系网存储，接受输入时通过向量空间中的匹配进行输出。 观察大模型回复，是一个字一个字流式输出的，因为大模型确实在一个字一个字地推理生成内容。比如输入法输入联想，根据输入的单个字推测下一个字，加入上下文能帮助模型理解下一个字。但存在两个问题：一是全量数据计算算力吃不消，二是仅算字的概率易被不相干信息干扰，此时词向量机制和 Transformer 模型中的 Attention 自注意力机制解决了难题。 另外，RAG 对大语言模型的作用就像开卷考试对学生，事实性知识与 LLM 的推理能力相分离，被存储在容易访问和及时更新的外部知识源中，分为参数化知识（模型训练中学习得到，隐式储存在神经网络权重中）和非参数化知识（存储在外部知识源，如向量数据库中）。
2025-03-25
如果面试AI产品经理岗位，我的简历应该如何介绍对应的AI项目？目前我在做的是一个AI深度解读的功能，用户通过报告页面进行深度解读，进入后触发AI与用户的沟通，根据沟通信息，将用户的一些情况写在病历信息中，最终发给医生
以下是为您提供的一些参考，帮助您在面试 AI 产品经理岗位时介绍对应的 AI 项目： 在您所做的 AI 深度解读功能项目中，可以从以下几个方面进行介绍： 项目背景：阐述开展该项目的原因和目标，例如为了提升医疗服务的效率和准确性，满足用户对深度医疗解读的需求等。 项目职责：详细说明您在项目中的具体职责，如需求分析、产品规划、与开发团队协作、与用户沟通获取反馈等。 技术实现：描述项目中所运用的关键技术，如触发 AI 与用户沟通的机制、如何将用户信息写入病历等。 用户体验优化：提及为提升用户体验所采取的措施，比如优化报告页面的设计、提高 AI 沟通的自然度和准确性等。 成果与效益：展示项目取得的成果，如提高了医生的诊断效率、提升了用户满意度等。 此外，您还可以参考以下其他相关人员的项目经验： 秦超作为 AI 2C 项目负责人，在产品落地服务方面具有丰富的经验，包括产品、技术架构以及项目管理等。 Cici?在 AI 算法开发领域，将宠物与 AI 结合，具备 AI 产品研发和创业经验。 11 鸭鸭呀作为产品经理，在智能写作产品方面有 Prompt 撰写和 AI 应用的经验。 枫 share 作为产品经理，熟悉 ChatGPT，写过 prompt，使用过多种 AI 创作工具，并正在寻找 AI 方向的产品岗位。 行远作为产品经理，熟悉 prompt，部署过多种绘图项目，使用过多款 AI 创作工具，期待学习和实战案例应用。 希望以上内容对您有所帮助，祝您面试成功！
2025-04-01
项目申报书提示词
以下是关于项目申报书提示词的相关信息： 方案扩写助手： 作为乙方，经常需要为客户写方案申报材料的文档并达到字数要求，“水文字”很痛苦。 方案扩写助手在扩写方案提示词方面做了效果提升，不抑制模型表达，编写的方案“生产端能作为素材直接用”，而非充满“AI 味”和不理解业务。 产品提示词修改了 20 多次，并在日常工作中持续迭代，最终用简短、有效、清晰的提示词实现了目前扩写方案的最佳效果（因模型不同效果有差异，可换模型尝试）。 SD 新手入门图文教程中的提示词相关资源： Majinai： 词图： Black Lily： Danbooru 标签超市： 魔咒百科词典： AI 词汇加速器： NovelAI 魔导书： 鳖哲法典： Danbooru tag： AIBooru： 星流一站式 AI 设计工具中的提示词： 在 prompt 输入框中可输入提示词，使用图生图功能辅助创作。 什么是提示词：用于描绘画面，星流通用大模型与基础模型 F.1、基础模型 XL 使用自然语言（如一个长头发的金发女孩），基础模型 1.5 使用单个词组（如女孩、金发、长头发），支持中英文输入。 如何写好提示词： 预设词组：小白用户可点击提示词上方官方预设词组进行生图。 提示词内容准确：包含人物主体、风格、场景特点、环境光照、画面构图、画质等，如一个女孩抱着小猫，背景是一面红墙，插画风格、孤独感，高质量。 调整负面提示词：点击提示框下方的齿轮按钮，弹出负面提示词框，负面提示词可帮助 AI 理解不想生成的内容，如不好的质量、低像素、模糊、水印。 利用“加权重”功能：可在功能框增加提示词并进行加权重调节，权重数值越大越优先，也可对已有的提示词权重进行编辑。 辅助功能：翻译功能可一键将提示词翻译成英文；删除所有提示词可清空提示词框；会员加速能加速图像生图速度，提升效率。
2025-03-31
AI做副业项目
以下为您介绍一些利用 AI 做副业的项目： 1. 电商：婴儿的四维彩超 AI 预测 思路和玩法：通过 AI 工具将宝宝的四维彩超还原出现实模样进行变现。孕妇妈妈在孕期 22 26 周会进行四维彩超检查，很多准爸爸妈妈期待宝宝模样，从而衍生出市场需求。在小红书、抖音等公域平台发布相关笔记会有人咨询。 操作流程：客户提供四维彩超图原图，在 Midjourney 里进行垫图+特定描述词，整个流程不超 10 分钟出图。 变现方式：受众群体多为宝妈，变现方式多且单价不低。在抖音、快手、视频号、小红书上发布相关视频或图文，将客户引到私域接单变现，但平台引流要注意隐蔽，以免被检测限流或封号。 2. 自媒体人通过 AIGC 做流量与变现 流量变现渠道包括直播带货、橱窗带货（抖音需 1000 粉丝、托管橱窗）、商单、介绍粉丝接项目、多种设计（如 AI 绘图十二生肖、化妆品公司产品设计、产品包装设计、海报设计、游戏背景设计、儿童绘本、AI 漫画、PFP 头像设计、AI 图片+视频：徐悲鸿教育系列 AI 内容、AIGC+地方文旅、数字人相关、汽车宣传片、喜马拉雅微短剧等）、广告（平台如抖音星图、B 站花火，也有私单，视频广告价格可自定义设置）。
2025-03-27
生成一个建筑项目管理系统
很抱歉，目前没有关于生成建筑项目管理系统的具体内容。但一般来说，生成一个建筑项目管理系统需要以下步骤： 1. 需求分析：明确系统的功能需求，例如项目规划、进度跟踪、资源管理、成本控制、质量管理等。 2. 技术选型：根据需求选择合适的技术框架和开发工具。 3. 数据库设计：构建能够存储项目相关数据的数据库结构。 4. 功能模块开发：逐步实现各个功能模块，如项目创建、任务分配、进度更新等。 5. 界面设计：设计简洁、易用的用户界面，方便用户操作。 6. 测试与优化：对系统进行全面测试，修复漏洞和优化性能。 7. 部署与维护：将系统部署到生产环境，并持续进行维护和改进。 由于缺乏具体的细节和要求，以上只是一个大致的框架，实际的生成过程会更加复杂和具体。
2025-03-23
背景：我是一名高中生，想学习AI知识，逐步从入门到精通 目标：希望在<3个月>内具备一定能力。 请结合我的背景和优势，为我设计一份学习路线： - 列出每阶段（例如每一个礼拜）的学习重点（比如编程基础、数学）。 - 为每个阶段推荐<具体资源>（书籍、在线课程、练习项目等）。 - 提供一些学习技巧或注意事项。
以下是为您设计的一份在 3 个月内从入门到具备一定能力的 AI 学习路线： 第一个月： 学习重点：了解 AI 基本概念，包括术语、主要分支及它们之间的联系；掌握编程基础，如 Python 语言。 推荐资源： 书籍：《人工智能：一种现代方法》 在线课程：Coursera 上的“人工智能入门”课程 练习项目：使用 Python 实现简单的数据分析和可视化 学习技巧和注意事项：多做笔记，理解概念，注重实践。 第二个月： 学习重点：深入学习数学基础，包括统计学、线性代数和概率论；了解算法和模型中的监督学习和无监督学习。 推荐资源： 书籍：《概率论与数理统计》《线性代数及其应用》 在线课程：edX 上的“机器学习基础”课程 练习项目：使用监督学习算法进行数据分类预测 学习技巧和注意事项：通过实际案例加深对数学知识的理解，多做练习题。 第三个月： 学习重点：掌握神经网络基础，包括网络结构和激活函数；学习模型的评估和调优。 推荐资源： 书籍：《深度学习》 在线课程：Udacity 上的“深度学习入门”课程 练习项目：构建并优化一个简单的神经网络模型 学习技巧和注意事项：积极参与在线讨论，及时解决学习中的问题。 在整个学习过程中，您还可以： 体验 AI 产品，如 ChatGPT、文心一言等，了解其工作原理和交互方式。 掌握提示词的技巧，提高与 AI 的交互效果。 参与相关的社区和论坛，分享学习经验和成果。
2025-03-21
有什么使用AI驱动的游戏项目吗？其中有哪些比较热门
以下是一些使用 AI 驱动的游戏项目及热门情况： 1. 《Among Us》：由只有 5 名员工的工作室 Innersloth 制作。 2. 《微软模拟飞行》：有新的游戏类型和与新内容实时生成结合的特点。 3. 《AI Dungeon》和《Hidden Door》：基于文本的早期游戏例子。 4. 《Suck Up!》：2023 年 12 月由 Proxima 工作室开发的“喜剧欺骗游戏”，玩家扮演吸血鬼与 LLM 驱动的 NPC 对话，上线仅两周全网播放火速突破千万。 此外，还有以下趋势和特点： 1. 由人工智能辅助的“微型游戏工作室”逐步崛起，小型工作室能创造的游戏规模将增长。 2. 每年发布的游戏数量会增加。 3. 新的游戏类型将会被创造出来，例如以人工智能创造的角色为特色的 Spellbrush 的 RPG 游戏 Arrowmancer。 4. 有的游戏开发商使用人工智能让玩家在游戏中创建自己的头像。 生成式 AI 将使生产高质量游戏变得更加简单、更快和更便宜，同时使玩家能够真正定制他们的游戏体验。我们已经看到像 Scenario、Iliad 这样可以创建游戏资源的 AI 工具，以及像 Promethean 这样可以构建整个虚拟世界的平台。甚至可以用像 Inworld、Charisma 和 Convai 这样的产品生成非玩家角色（NPC）。
2025-03-18