直达「 通往AGI之路 」飞书知识库 →
首页/全部问答
rag
RAG(RetrievalAugmented Generation)即检索增强生成,是一种结合检索和生成能力的自然语言处理架构。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点: 1. 无法记住所有知识,尤其是长尾知识,受限于训练数据和学习方式,对长尾知识的接受能力不高。 2. 知识容易过时且不好更新,微调效果不佳且有丢失原有知识的风险。 3. 输出难以解释和验证,存在内容黑盒、不可控及受幻觉问题干扰的情况。 4. 容易泄露隐私训练数据。 5. 规模大,训练和运行成本高。 RAG 的优点包括: 1. 数据库对数据的存储和更新稳定,不存在模型学不会的风险。 2. 数据库的数据更新敏捷,可解释且不影响原有知识。 3. 数据库内容明确、结构化,加上模型的理解能力,能降低大模型输出出错的可能。 4. 知识库存储用户数据便于管控用户隐私数据,且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 RAG 的核心流程是根据用户提问,从私有知识中检索到“包含答案的内容”,然后把“包含答案的内容”和用户提问一起放到 prompt 中,提交给大模型,让其回答充分考虑“包含答案的内容”。其最常见应用场景是知识问答系统。RAG 由“检索器”和“生成器”两部分组成,检索器从外部知识中快速找到与问题相关的信息,生成器利用这些信息制作精确连贯的答案,适合处理需要广泛知识的任务,如问答系统,能提供详细准确的回答。
2025-02-07
2025年出的模型有哪些
以下是 2025 年可能出现的一些模型: DeepSeek 发布了最新模型 V3 与 R1,采用混合专家(MoE)架构,V3 引入多头潜注意力(MLA),R1 通过强化学习激活推理能力。 字节跳动推出新技术 OmniHuman,利用单张图片和音频生成生动的视频。 OpenAI 发布新模型 o1,基于思维链和强化学习的新训练和推理方法,展现出明显超出 GPT4 等传统模型的复杂推理能力。 苹果公司发布面向 iPhone、iPad 和 Mac 的个人智能化系统 Apple Intelligence,嵌入一个大约 30 亿参数的本地模型。 此外,2024 年的一些模型发展趋势也可能延续到 2025 年,如: 多模态能力的提升,包括视频生成模型的发展,如 OpenAI 的 Sora 引发业界轰动,带动一众模型公司追逐,到年底视频生成已成为各大模型公司的标配能力。 开源项目的发展,如 Meta 推出的 Llama 3.1 405B 版本,中国的开源项目 Qwen2、DeepSeek 等在全球范围内赢得众多用户。 随着“蒸馏”和“量化”等技术的发展,模型的小型化和端侧化逐渐形成趋势,多家公司推出 40 亿参数以下的专业或端侧小模型。
2025-02-07
我们是做小红书笔记的,目前有没有哪个软件可以把我们上千篇以往人工写的笔记,投喂给它,训练出一个能按照以往风格来写笔记的呢?比如扣子或者钉钉,可以吗
目前市面上常见的软件中,豆包暂时未获取到扣子或钉钉有此功能的相关信息。不过,像一些专门的自然语言处理和机器学习平台,如 OpenAI 的 GPT 系列、百度的文心一言等,在一定的技术支持和合规操作下,有可能实现您的需求。但需要注意的是,将大量以往的笔记用于训练模型可能涉及到数据隐私和版权等问题,需要谨慎处理。
2025-02-07
如何用自己的形象做卡通数字人?
以下是用自己的形象做卡通数字人的方法: 1. 简单提示词方法: 在聊天窗口输入/imainge找到/imagine prompt,然后把刚才的链接放进去,然后空格。 加一些提示词,这些提示词以英文逗号分隔,最后再加上设置参数。 设置参数: iw 1.5是设置参考图片的权重,数值越高与参考的图片越接近,默认是0.5,最大是2,可选择中间的某个值并调整。 s 500设置风格强度,个性化,艺术性,数字越大,更有创造力和想象力,可设置为01000间任意整数。 v 5是指用midjourney的第5代版本,这一代的最真实,目前v5需要订阅付费,不想付费可以使用v 4。 no glasses是指不戴眼镜,如果你不喜欢戴眼镜的图片,可以戴上这个设置,让它不戴眼镜。 完整的提示词如下simple avatar,Disney boy,3d rendering,iw 1.5s 500v 5。如果对生成的效果不满意,可以调整s和iw的值来进行多次尝试。 2. 剪映生成数字人方法: 在剪映右侧窗口顶部,打开“数字人”选项,选取一位免费的、适合的数字人形象,比如“婉婉青春”。 选择数字人形象时,软件会播放其声音,可判断是否需要,点击右下角的“添加数字人”,将其添加到当前视频中。剪映App会根据提供的内容生成对应音视频,并添加到当前视频文件的轨道中。 左下角会提示渲染何时完成,然后可点击预览按钮查看生成的数字人效果。 增加背景图片: 直接删除先前导入的文本内容,因为视频中的音频已包含文字内容。 鼠标点击下方代表文字的轨道,或点击软件中间文字内容,按删除键删去文字。 点击左上角的“媒体”菜单,并点击“导入”按钮,选择本地的一张图片上传。 选择一张图片上传,点击图片右下角的加号,将图片添加到视频的轨道上(会覆盖数字人)。 书架图片所在的轨道会在视频轨道的下面添加一条新轨道。 点击轨道最右侧的竖线,向右拖拽,直到视频的最后,与视频对齐。 背景图片所在的轨道若没选中,鼠标点击一下这个轨道即可。 在显示区域,拖动背景图的一个角,将图片放大到适合的尺寸,比如覆盖视频窗口,并将数字人拖动到合适的位置。 3. 复杂提示词方法: 如果觉得简单提示词生成效果不好,可以选择更为复杂一点的提示词,比如:Disney boy,Low saturation Pixar Super details,clay,anime waifu,looking at viewer,nighly detailedreflections transparent iridescent colors.lonctransparent iridescent RGB hair,art by Serafleurfrom artstation,white background,divine cinematic edgelighting,soft focus.bokeh,chiaroscuro 8K,bestquality.ultradetailultradetail.3d,c4d.blender,OCrenderer.cinematic lighting,ultra HD3D renderinoiw 1.5s 500v 5。 不同照片生成:如果对照片风格不满意,可以换一张新的照片使用上面的提示词重新生成。 其他调整:如果觉得Disney风格的头像太过卡通,可以把提示词里面的Disney都换成Pixar,皮克斯头像风格相对更加现代化和真实一点。如果是女孩,可以把提示词里面的boy换成girl。每次会生成4张图片,如果对某一张图片满意,点击下方的U1~U4生成大图,如果对风格满意但是需要调整,点击下方的V1~V4进行修改。
2025-02-07
我们是做小红书笔记的,目前有没有哪个软件可以把我们上千篇以往人工写的笔记,投喂给它,训练出一个能按照以往风格来写笔记的呢
目前市面上还没有专门针对小红书笔记且能完全满足您需求的成熟软件。一般来说,使用现有的自然语言处理模型进行这样的训练存在诸多限制和法律风险。小红书对于内容的原创性和合规性有严格要求,使用以往的笔记进行训练可能违反平台规定。但您可以通过学习和借鉴以往笔记的写作风格、结构和主题,人工创作出新的优质笔记。
2025-02-07
什么是数据集?
数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。 它具有以下特点: 是用来让大模型重新学习的知识。 通常以表格形式出现,每一列代表一个特定变量,每一行对应于某一成员的数据集的问题。 包括结构化数据(可放在巨大的表格中)和非结构化数据(如图片、视频、文本,机器处理起来更难)。 获取数据集的方式有:手动标注、观察行为、网络下载。 使用数据集的方法:可以将搜集到的数据展示或提供给 AI 团队,以协助梳理和确定所需的数据类型及应构建的 IT 基础框架。同时要注意处理数据中不正确、缺少等问题。 例如: OPPO 手机搜索排序 querytitle 语义匹配数据集: 密码 7p3n。 网页搜索结果评价:
2025-02-07
擅长文字处理,主要是小说的AI有哪些,推荐一下
以下是一些擅长文字处理,尤其是小说创作的 AI 工具: 1. Novel.ai:AI 写小说领域的头部应用,是典型的 LLM 产品。其产品功能复杂但使用模式简单,包括利用续写能力将写作改造成交互式文本生成,渐进式生成小段并允许用户更改或继续生成,基于写作业务抽象出模型风格、写作方式、故事世界、记忆等细分功能。本质上还是构造 Prompt,交互式、渐进式的 Prompt 构建降低了使用门槛。 2. Character.ai:大名鼎鼎的角色扮演类 AI 陪伴产品,服务游戏和二次元用户。使用简单,选角色对话即可,创建也容易,角色的核心差异靠不同的详细描述,开放用户角色 Prompt 可见。 3. 筑梦岛:国内同类产品,玩法多样。和角色聊天、捏角色是共同主题,捏角色的产品化本质是收集信息产生高质量角色 Prompt 的过程,基于聊天模式有很多微创新的衍生玩法。 此外,还有一些中文的内容仿写 AI 工具: 1. 秘塔写作猫:https://xiezuocat.com/ 是 AI 写作伴侣,能推敲用语、斟酌文法、改写文风,实时同步翻译,支持全文改写、一键修改、实时纠错并给出修改建议,智能分析文章属性并打分。 2. 笔灵 AI 写作:https://ibiling.cn/ 是智能写作助手,支持多种文体写作,如心得体会、公文、演讲稿、小说、论文等,支持一键改写/续写/扩写,智能锤炼打磨文字。 3. 腾讯 Effidit 写作:https://effidit.qq.com/ 由腾讯 AI Lab 开发,是智能创作助手,能提升写作者的写作效率和创作体验。 更多 AI 写作类工具可以查看:https://www.waytoagi.com/sites/category/2 (内容由 AI 大模型生成,请仔细甄别)
2025-02-07
什么是tokens
在大语言模型领域,Token 通常用来表示文本数据中的一个单元。在不同的语境下,一个 Token 可能代表一个字、一个词,或者是一个句子。在英文中,一个 Token 通常是一个词或者是标点符号。在一些汉语处理系统中,一个 Token 可能是一个字,也可能是一个词。Token 是处理和理解文本数据的基本单元。 在深度学习的语言模型中,如 Transformer,输入的文本首先被切分成一系列的 Tokens。这些 Tokens 被转换成向量,然后被输入到神经网络中进行处理。因此,在这种情况下,Token 可以被理解为语言模型接收和处理的最小的信息单元。在训练过程中,每个 Token 会关联一个预测,这个预测可以是下一个 Token 的预测,也可以是该 Token 的属性预测,如词性、情感等。 训练 Token 的数量会影响模型的性能和准确性。更多的训练 Token 通常意味着更多的训练数据,这可能会提升模型的准确性和泛化能力。然而,处理更多的 Token 也会增加计算的复杂性和计算资源的需求。 很多同学把 Token 理解为中文语义里的“字节”,这种理解有一定的类比相似性,因为“字节”是计算机存储和处理数据的基本单元,而“Token”是语言模型处理文本信息的基本单元。但这种理解不够准确,“Token”在语言模型中的作用比“字节”在计算机中的作用更加复杂和多元。在大语言模型中,“Token”不仅代表文本数据中的一个单位,而且每个“Token”都可能携带了丰富的语义信息。比如,在处理一句话时,“Token”可能表示一个字,一个词,甚至一个短语,这些都可以被认为是语言的基本单元。同时,每个“Token”在模型中都有一个对应的向量表示,这个向量包含了该“Token”的语义信息、句法信息等。 Unicode 是一种在计算机上使用的字符编码,为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言、跨平台进行文本转换、处理的要求。例如中文中的“你”字对应特定的 Unicode 编码。GPT 实际是将我们输入的文字转换成 Token,然后通过 GPT 模型预测 Token,再将 Token 转换成文字,最后再输出给我们。通过 Token 的学习,能感觉到 ChatGPT 理解文本的方式和人类并不相同,它在以自己的方式理解这个世界。 在 ComfyUI SD3 中,如输入的文字描述会被转换为 Tokens(文本向量),其中包括使用 CLIPG/14、CLIPL/14、T5 XXL 等预训练文本编码器将描述文字转换为 Tokens,每个编码器生成 77 个 Token,总共 154 个 Token 等一系列处理过程。
2025-02-07
知识蒸馏
知识蒸馏是一种模型压缩和训练的方法。在训练中,大模型作为教师模型,轻量级模型作为学生模型,学生模型不仅学习任务的真实标签,还学习教师模型生成的软标签,从而能够“站在巨人的肩膀上”学习。例如,NVIDIA 技术博客介绍了通过剪枝和知识蒸馏将 Llama3.1 8B 模型缩减为 Llama3.1Minitron 4B 模型的方法。剪枝通过移除模型中的一些参数来减少计算需求和内存占用,而知识蒸馏让小模型学习大模型的输出以提高性能。轻量级模型基础能力的增强,对未来的 AI 应用生态具有重要意义。同时,使用强化微调技术,轻量级模型能够通过精选数据的训练超越同代大模型的表现,这对垂直领域的模型应用也将产生很大影响。
2025-02-07
agi是什么意思
AGI 即 artificial general intelligence,指的是通用人工智能,即能够做任何人类可以做的事。 在 AI 领域,AI 分为 ANI 和 AGI,ANI(artificial narrow intelligence,弱人工智能)只可做一件事,如智能音箱、网站搜索、自动驾驶、工厂与农场的应用等;而 AGI 则涵盖了广泛的认知技能和能力,符合 1994 年心理学家们对智能的广泛定义,包括推理、规划、解决问题、抽象思维、理解复杂思想、快速学习和从经验中学习等能力,并且要求这些能力在或超过人类水平。名词“通用人工智能”(AGI)在 2000 年代初流行起来,以强调从“狭义 AI”到更广泛的智能概念的追求。
2025-02-07