直达「 通往AGI之路 」飞书知识库 →
首页/全部问答
LangChain
LangChain 是一个用于构建高级语言模型应用程序的框架,具有以下特点和功能: 旨在简化开发人员使用语言模型构建端到端应用程序的过程,提供了一系列工具、组件和接口,使创建由大型语言模型(LLM)和聊天模型支持的应用程序更易实现。 核心概念包括组件和链,组件是模块化的构建块,链是组合在一起完成特定任务的一系列组件(或其他链)。 具有模型抽象、提示模板和值、链、代理等功能。 支持多种用例,如针对特定文档的问答、聊天机器人、代理等,且可与外部数据源交互并提供内存功能。 LangChain 与 RAG(检索增强生成)的关系: 框架与技术:LangChain 作为框架,提供实现 RAG 必需的工具和组件,RAG 技术可在其框架内实施利用。 模块化实现:允许开发者通过模块化组件构建 RAG 应用程序。 简化开发:通过提供现成的链和提示模板简化 RAG 应用开发过程。 提高性能:利用 LangChain 实现 RAG 可创建更高效、准确的应用程序,尤其在需大量外部信息辅助决策的场景。 应用构建:通过丰富的 API 和组件库支持构建复杂的 RAG 应用,如智能问答系统、内容推荐引擎等。 在开发 LangChain 应用时,构建 RAG 应用的相关组件包括数据加载器、文本分割器、文本嵌入器、向量存储器、检索器、聊天模型等,一般流程如下:(具体流程未给出,如有需要请补充提问)
2025-02-24
Agent
智能体(Agent)在人工智能和计算机科学领域是一个重要概念,指能够感知环境并采取行动以实现特定目标的实体,既可以是软件程序,也可以是硬件设备。 在 LLM 支持的自主 Agent 系统中,LLM 充当 Agents 的大脑,并具有以下关键组成部分: 1. 规划:将大型任务分解为更小、可管理的子目标,有效处理复杂任务。 2. 反思和完善:对过去行为进行自我批评和反思,从错误中吸取教训,完善未来步骤,提高最终结果质量。 3. 记忆:包括短期记忆,用于所有的上下文学习;长期记忆,通过利用外部向量存储和快速检索实现长时间保留和回忆无限信息的能力。 4. 工具使用:学习调用外部 API 来获取模型权重中缺失的额外信息,包括当前信息、代码执行能力、对专有信息源的访问等。 以下是一些关于智能体 Agent 的相关目录: 1. 2. 3. 4. 5. 6. 从产品角度思考 Agent 设计: 1. Agent 可以是一个历史新闻探索向导。 身份:历史新闻探索向导 性格:知识渊博、温暖亲切、富有同情心 角色:主导新闻解析和历史背景分析 为使角色更生动,可为其设计简短背景故事,如曾是一位历史学家,对世界重大历史事件了如指掌,充满热情,愿意分享知识。 2. 写好角色个性的方法: 角色背景和身份:编写背景故事,明确起源、经历和动机。 性格和语气:定义性格特点,如友好、幽默、严肃或神秘;确定说话方式和风格。 角色互动方式:设计对话风格,从基本问答到深入讨论。 角色技能:明确核心功能,如提供新闻解析、历史背景分析或心理分析;增加附加功能以提高吸引力和实用性。 正如《》所写:个性化定制的“虚拟伴侣”能得到用户认可,因为精准击中许多年轻人无处可藏的孤独和焦虑,背后是年轻人渴望被理解、沟通和交流。美国心理学家 Robert Jeffrey Sternberg 提出了“爱情三角理论”,认为爱情包含“激情”“亲密”“承诺”三个要素。激情是生理上或情绪上的唤醒,例如对某人有强烈的性或浪漫的感觉;亲密是一种相互依恋的感觉,通过相互联结带来的喜爱和相互沟通分享自己的所见所闻、喜怒哀乐来体现;承诺是决定建立长期稳定关系,融入对方生活,形成互助互惠的关系,代表着一种长相厮守的责任。
2025-02-24
搭建个人知识库
以下是关于如何搭建个人知识库的详细介绍: 要搭建基于 GPT API 的定制化知识库,首先需要给 GPT 输入(投喂)定制化的知识。但 GPT3.5(即当前免费版的 ChatGPT)一次交互(输入和输出)只支持最高 4096 个 Token,约等于 3000 个单词或 2300 个汉字,这个容量对于绝大多数领域知识是不够的。为解决此问题,OpenAI 提供了 embedding API 解决方案,可参考 OpenAI embedding documents。 embeddings(直译为嵌入)是一个浮点数字的向量(列表)。两个向量之间的距离衡量它们的关联性,小距离表示高关联度,大距离表示低关联度。向量是数学中表示大小和方向的一个量,通常用一串数字表示,在计算机科学和数据科学中,向量通常用列表(list)来表示,列表是一种包含一组有序元素的数据结构。向量之间的距离是一种度量两个向量相似性的方法,最常见的是欧几里得距离,其计算方法是将两个向量的对应元素相减,然后取平方和,再开平方。在 OpenAI 词嵌入中,靠近向量的词语在语义上相似,例如“猫”和“狗”距离近,它们都是宠物,与“汽车”距离远,相关性低。文档上给了创建 embeddings 的示例。 将文本转换成向量能大大节省空间,可简单理解为索引,发送给 GPT API。 LlamaIndex 是更高一层 LangChain 的抽象,之前叫 GPT Index。之前的文章中的例子就是使用的 LlamaIndex 包。它简化了 LangChain 对文本分割、查询这块的接口,提供了更丰富的 Data Connector。LlamaIndex 只针对 GPT Model 做 Index,而 LangChain 是可以对接多个 LLMs,可扩展性更强。参考 https://gptindex.readthedocs.io/en/latest/ 。 最近各家大厂接连放大招,AI 技术和应用突飞猛进,GPT4 接口已经支持最大 32K 输入,AI 的开发和使用门槛肯定会越来越低。垂直领域知识库的搭建和优化可能更多的是一个业务问题,而不是一个技术问题。欢迎关注公众号“越山集”,多交流。
2025-02-24
视频分析工具有哪些
以下是一些常见的视频分析工具: 1. Roboflow 的开源计算机视觉工具库 Supervision: 具有视频跟踪器,可追踪物体移动,例如在足球比赛录像中追踪球员移动并分析表现。 区域工具,能选择视频特定区域进行分析,如观察商店货架商品销售情况。 注释器,可在视频上添加文字、标签等信息,例如在烹饪教程视频中添加食材名称和烹饪时间。 是全方位的计算机视觉平台,支持多种注释和图像格式,提供过滤、标签、分割、预处理和增强图像数据等功能,还集成了 OpenAI、Meta AI 等的模型,并提供一系列工具来组织视觉数据、自动化标签和部署基础模型。 官方网站: Github: 2. videoanalyzer: 结合了 Llama3.2 Vision 与 Whisper,通过获取关键帧并将其输入到视觉模型以获取详细信息来创建描述。 支持本地运行。 智能提取视频关键帧。 自动处理质量较差的音频。 分析结果的详细 JSON 输出。 官方网站:
2025-02-24
我是一位短视频AI博主,您能够为我提供哪些帮助呢?
以下是我能为您这位短视频 AI 博主提供的帮助: 1. 为您介绍根据视频脚本生成短视频的工具,例如: ChatGPT 结合剪映:ChatGPT 生成视频小说脚本,剪映根据脚本自动分析并生成素材和文本框架,实现从文字到画面的快速转化。 PixVerse AI:在线 AI 视频生成工具,支持多模态输入转化为视频。 Pictory:允许用户通过提供文本描述轻松创建和编辑高质量视频。 VEED.IO:提供 AI 图像和脚本生成器,帮助规划视频内容。 Runway:能将文本转化为风格化视频内容。 艺映 AI:提供文生视频、图生视频、视频转漫等服务。 2. 为您介绍北京分队中与短视频 AI 相关的人员信息,他们在不同领域具有丰富的经验和技能,可能为您的创作提供灵感或合作机会。例如: wb:对 AI 视频感兴趣,运营私域资源讨论群,关注 AI 前沿动态。 祖海:拥有编导和操盘手资源,从事个人 IP 咨询和陪跑以及 Ai 数字人获客。 宇竹:在多个领域有成功的 IP 操盘经验。 U:业余配音演员和歌手,擅长音频和简单视频剪辑。 萝卜:具备生图和生视频剪辑经验。 李先森:星动 AI 联合创始人,致力于 AI 教育培训和商业应用。 Lucky:在信息技术领域有丰富经验,能提供多种 AI 相关项目服务。 粉仔:抖音上的 AIGC 博主,熟悉主流 AIGC 工具。 sam:热爱互联网和 AI 技术。 海地老师:AI 影视共创社北京分社的负责人。 张帆:产品经理,正在学习 AI,尝试做知识分享。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-02-24
用ai作图
以下是关于用 AI 作图的相关内容: 参加比赛的要求: 参加由麦乐园和摩达社区发起的“AI 梦一单一世界”比赛,需用摩搭平台和麦橘超然模型作为底膜训练 Lora,提交训练好的 Lora 及用其生成的六张以上高质量、展现完整世界观的作品。 作图思路: 1. 明确创作主题即锚点,根据 Lora 风格确定创作方向。 2. 确定主体,联想主体的角色设定。 3. 增加叙事感,让画面有一到两个及以上角色,制造反差和联想。 图片构成因素: 好看的图片的构成因素包括构图、色彩以及光影。 构图: 1. 概念:构图指在框架或空间内元素的摆放位置、形状、物体形状及纹理等,好的构图能引导观看者并创造和谐平衡。 2. 分类:包括景别(远景、全景、中景、近景、特写)和拍摄视角(俯视、平视、仰视,正面、侧面、背面)。 3. 要素:有主体、陪体、前景、背景、点线面,合理运用可丰富画面。 4. 方式:如点中心构图、九宫格构图、三分法构图、对称构图、对角线构图、曲线构图、框架构图、三角形构图等。在 AI 绘图中,推荐中景及以上景别,全身景别可能需开 AD 跳以确保作图质量。 创作有趣作品: 通过运用反差制造有冲击力的画面,创作出有叙事感和趣味性的作品。 提示词编写方法: 用自然语言详细描述画面内容,避免废话词,Flux 对提示词的理解和可控性强。 实操演示: 以未发布的 Lora 为例,按赛题需求先确定中式或日式怪诞风格的创作引子。从汉服女孩入手,逐步联想其颜色、发型、妆容、配饰、表情、背景等元素编写提示词。 电商应用: 对于运营网店的女装店主,若没有钱请模特,可以用 Stable Diffusion 初步制作商品展示图。比如卖绿色淑女裙,可先真人穿衣服拍照,拿到真实质感的照片(若身材有问题可借助美图秀秀或 PS),选好真人照片风格的底模(如 majicmixRealistic_v7),根据不同平台换头(如面向海外市场换白女头),在图生图下的局部重绘选项卡下涂抹自己替换的部分,并编写相关提示词(如 breathtaking cinematic photo,masterpiece,best quality,,blonde hair,silver necklace,carrying a white bag,standing,full body,detailed face,big eyes,detailed hands)。
2025-02-24
想要搜集社交媒体的爆款,建立对标账号库和选题库,该如何高效搜索?是否有可使用的AI工具?
以下是高效搜集社交媒体爆款、建立对标账号库和选题库的方法及可使用的 AI 工具: 1. 对于找对标账号的爆款文章: 在电脑微信上打开对标账号的微信公众号相关界面。手机支持长截图也可,但不推荐,因手机易被干扰。 刷文章时不仅看当前文章,还应点开作者后台查看其他文章,关注“低粉爆款”(即平常阅读量几百,突然有几万阅读量的异常值文章),大号的阅读量参考价值较低。 遇到不错的对标账号,想获取所有阅读量数据和标题时,可使用长截图结合中文识别能力强的大模型,如 kimichat,飞书客户端自带的长截图功能好用,其截图快捷键在设置中可查看和修改(Windows 为 Ctrl+Shift+A,Mac 为 Alt+Shift+A)。 2. 搭建选题库和标题库: 使用飞书文档创建一个文档,并打开选题库模板(https://zi6nfl20s5u.feishu.cn/wiki/J7KvwzJZLi7mX0k5B5EcQ0ahnIc?from=from_copylink),根据自身需要制作表格。 3. 可使用的 AI 工具:腾讯元宝,这是一个基于腾讯混元大模型的 AI 助手 App,提供包括 AI 搜索、AI 总结、AI 写作等多种功能,能在公众号等平台搜索和总结相关内容,使用提示词句式“去公众号搜索关于「xxx」的文章”。
2025-02-24
ai修图变清晰
以下是关于使用 AI 修图变清晰的方法: 1. 将照片放入后期处理中,使用 GFPGAN 算法将人脸变清晰。您可以参考文章——。但此步骤无法将照片中的头发、衣服等元素变清晰。 2. 将图片发送到图生图中,打开 stableSR 脚本,放大两倍。此放大插件是所有插件中对原图还原最精准、重绘效果最好的。您可以参考文章——。切换到 sd2.1 的模型进行修复,vae 选择 vqgan,提示词可以不写以免干扰原图。 3. 启用 MutiDiffusion 插件,不开放大倍数,仅使用分块渲染功能,可在显存不够时将图片放大到足够倍数。 4. 对于复杂照片,可先在 ps 里调整角度和裁切,然后使用上述步骤上色。若直接上色效果不佳,可放弃人物服装颜色指定,只给场景方向,让 AI 自行决定。比如加入第二个 controlnet 控制颜色,使用 t2ia_color 模型,给出简单关键词如“蓝天、绿树、灰石砖”。 另外,在 Stable Diffusion 中,AI 出图默认分辨率为 512x512,用于商业不够。提高最终出图分辨率的方法之一是高清修复:在文生图功能中有内置的高清修复(HiresFix)功能,将初始分辨率设为 800x420,选择放大倍率为 2,理论上放大倍率越高图片越清晰,但实际效果与电脑配置和显卡显存有关。先以 800x420 画图,获取种子值并填入随机数种子固定图片,放大时算法选择需根据绘图风格,二次元可选 RESRGAN 4x+Anime6B,写实类可选 RESRGAN 4x+。
2025-02-24
常用的提示词框架有哪些?
常用的提示词框架有以下几种: 1. CRISPE(Capacity and Role,Insight,Statement,Personality,Experiment) 2. BROKE(Background,Role,Objectives,Key Results,Evolve) 3. ICIP 框架:包括指令(Instruction,必须)、背景信息(Context,选填)、输入数据(Input Data,选填)和输出指示器(Output Indicator,选填) 4. 情境
2025-02-24
AI测试工具
以下是一些常见的 AI 测试工具: 1. PlaywrightAI 自动化测试工具:这是一个 Hackathon 项目,通过 Antropic AI 的 Claude Computer Use 实现自然语言驱动的 UI 自动化测试。优点是降低编写自动化测试脚本成本,局限是稳定性不足、容易误报或遗漏,且成本较高。 2. 基于规则的测试生成工具: Randoop:基于代码路径和规则生成测试用例,适用于 Java 应用程序。 Pex:微软开发的智能测试生成工具,自动生成高覆盖率的单元测试,适用于.NET 应用。 Clang Static Analyzer:利用静态分析技术识别代码模式和潜在缺陷,生成相应的测试用例。 Infer:Facebook 开发的静态分析工具,自动生成测试用例,帮助发现和修复潜在错误。 3. 基于机器学习的测试生成工具: DeepTest:利用深度学习模型生成自动驾驶系统的测试用例,模拟不同驾驶场景,评估系统性能。 DiffTest:基于对抗生成网络(GAN)生成测试用例,检测系统的脆弱性。 RLTest:利用强化学习生成测试用例,通过与环境交互学习最优测试策略,提高测试效率和覆盖率。 A3C:基于强化学习的测试生成工具,通过策略梯度方法生成高质量测试用例。 4. 基于自然语言处理(NLP)的测试生成工具: Testim:AI 驱动的测试平台,通过分析文档和用户故事自动生成测试用例,减少人工编写时间。 Test.ai:利用 NLP 技术从需求文档中提取测试用例,确保测试覆盖业务需求。 Selenium IDE + NLP:结合 NLP 技术扩展 Selenium IDE,从自然语言描述中生成自动化测试脚本。 Cucumber:使用 Gherkin 语言编写的行为驱动开发(BDD)框架,通过解析自然语言描述生成测试用例。 此外,还有一些 AI Prompts 测试框架: 1. PromptPal:专为 AI 领域中的初创公司和个人开发者设计的提示管理工具,作为集中化平台,便于管理提示,实现协作和优化工作流程。特点包括本地部署和云原生、简易设置、数据库支持、SDK 支持、提示跟踪与分析、协作工具。 2. ChainForge:开源的可视化编程环境,专门用于测试大型语言模型(LLMs)的提示。特点有多模型测试、响应质量比较、评估指标设置、多对话管理。 3. Promptknit:为 AI Prompts 测试提供服务的平台。
2025-02-24