直达「 通往AGI之路 」飞书知识库 →
首页/全部问答
ComfyUI
ComfyUI 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI,以下是关于它的详细信息: 简介:可以想象成集成了 stable diffusion 功能的 substance designer,通过将 stable diffusion 的流程拆分成节点,实现更精准的工作流定制和完善的可复现性。 优劣势: 优势:对显存要求相对较低,启动速度快,出图速度快;具有更高的生成自由度;可以和 webui 共享环境和模型;可以搭建自己的工作流程,可以导出流程并分享给别人,报错时能清晰发现错误所在;生成的图片拖进后会还原整个工作流程,模型也会选择好。 劣势:操作门槛高,需要有清晰的逻辑;生态没有 webui 多(常用的都有),也有一些针对 Comfyui 开发的有趣插件。 官方链接:从 github 上下载作者部署好环境和依赖的整合包,按照官方文档按照即可:https://github.com/comfyanonymous/ComfyUI 安装部署: 电脑硬件要求: 系统:Windows7 以上。 显卡要求:NVDIA 独立显卡且显存至少 4G 起步。 硬盘留有足够的空间,最低 100G 起步(包括模型)。 注:mac 系统,AMD 显卡,低显卡的情况也可以安装使用,功能不全,出错率偏高,严重影响使用体验个人建议升级设备或者采用云服务器玩耍。 下载并安装所需要环境:依次下载并安装 python、Git、VSCode,安装过程中一直点击勾选对应选项,一直下一步。 安装 Python:https://www.python.org/downloads/release/python3119/ ,安装的时候选中“将 Python 添加到系统变量”。 安装 VSCode:https://code.visualstudio.com/Download 。 安装 Git:https://gitscm.com/download/win 。 安装 CUDA:https://developer.nvidia.com/cuda1220downloadarchive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_network 。 安装步骤: 地址:https://github.com/comfyanonymous/ComfyUI ,可以下载安装包也可以直接 Git clone https://github.com/comfyanonymous/ComfyUI.git ,或者下载安装包 file:ComfyUI.zip ,下载安装包或者点击链接下载并解压至本地除 C 盘外的任意盘。然后找到文件名称为 run_nvidia_gpu 的文件双击并启动。启动完成即进入基础界面。 节点存放目录:comfyUI 的节点包括后面安装的拓展节点都存放在本目录下 D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes 。 模型存放目录: 大模型:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\checkpoints 。 Lora:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\loras 。 Vae:D:\\COMFYUI\\ComfyUI_windows_portable\\ComfyUI\\models\\vae 。 模型共用:已经安装了 SDWebUI 的同学可以通过修改文件路径和 WebUI 共用一套模型即可,这样就不用重复下载模型了。找到已安装好的 ComfyUI 目录文件下的 extra_model_paths.yaml.example 文件,将后缀.example 删除,然后右键用记事本打开。
2024-12-24
dify-on-wechat如何接coze
要将 Dify 接入企业微信,您可以按照以下步骤进行操作: 1. 创建聊天助手应用:在 Dify 平台创建基础编排聊天助手应用,获取 API 密钥和 API 服务器地址。 2. 下载 Dify on WeChat 项目:下载并安装依赖。 3. 填写配置文件:在项目根目录创建 config.json 文件,填写 API 密钥和服务器地址。 4. 把基础编排聊天助手接入微信:快速启动测试,扫码登录,进行对话测试,可以选择源码部署或 Docker 部署。 5. 把工作流编排聊天助手接入微信:创建知识库,导入知识库文件,创建工作流编排聊天助手应用,设置知识检索节点和 LLM 节点,发布更新并访问 API。 6. 把 Agent 应用接入微信:创建 Agent 应用,设置对话模型和添加工具,生成 API 密钥,填写配置文件,启动程序并进行测试。 更多内容请访问原文:https://docs.dify.ai/v/zhhans/learnmore/usecases/difyonwechat 另外,CoW(chatgptonwechat)是一个基于大型语言模型的智能对话机器人项目,具有多端部署、基础对话、语音识别、图片生成、丰富插件、Tool 工具、知识库等特性和优势,支持在多个平台部署,包括微信公众号、企业微信应用、飞书、钉钉等。项目开源,GitHub 地址:https://github.com/zhayujie/chatgptonwechat ,Gitee 地址:https://gitee.com/zhayujie/chatgptonwechat 。 您还可以引入项目,在 bot/dify/新建一个 dify_image.py 的程序,将画图程序的调用过程写到 dify bot 中,如用 query“画”开头接提示来触发调用。
2024-12-24
在WayToAGI的直播中分享插件大全的“罗文老师”有哪些分享的文章或者视频吗
以下是 5 月 10 日罗文分享《认识插件》的相关文章或视频内容: 罗文分享如何使用插件一键生成标题 罗文分享使用插件武装智能体的方法与挑战 罗文分享 AI 插件使用方法及相关名词解释 罗文讲解单函数版本、方法论及插件配置 如何使用插件提升工作效率 如何快速了解插件的用途及使用场景 如何理解和运用插件 罗文讲解 API 使用技巧及相关提示词的作用 如何稳定调用 API 获取想要的信息 罗文分享使用插件的八步法及挑战 关于如何使用 flow 插件创建机器人的步骤讲解 关于如何在飞书上进行 API 内容报名的步骤讲解 关于国内版本使用的相关问题解答与分享 170 人同时编辑多维表格,字节同学帮忙做压测 关于多维表格插件使用的讨论 关于 AI 工具使用的分享与讨论 介绍智能体插件的使用方法 关于如何设置文档权限及使用插件的操作教程 关于如何使用代码执行器及流程化模板的讨论 关于智能体插件使用的讨论及实操演示 关于多维表格插件使用说明挑战的工作流程介绍 关于插件 API 使用的讨论 罗文分享工作流的设计与应用 罗文分享工作流程及机器人使用心得
2024-12-24
免费的ai虚拟人物
以下为您介绍一些免费的 AI 虚拟人物相关内容: 1. Vocs AI:这是一个免费的人工智能语音生成器和转换器。您可以按照以下步骤操作: 上传一段清晰的无伴奏人声录音,推荐 wav 或 mp3 格式,更推荐 wav。 从超过 20 名才华横溢的 AI 歌手、说唱歌手、叙述者、角色和配音艺术家中选择,将原始无伴奏声音转换成 AI 虚拟艺术家的声音。 点击“转换”,Vocs AI 的语音技术将把您上传的音频转换成 AI 版本的原声。 下载转换后的音频。需要注意的是,输入音频的质量将直接影响 AI 人声转换的输出质量。链接:https://www.vocs.ai/ 2. 剪映数字人“私有化”: 准备谷歌账号(可在淘宝或者在账号解决平台“”购买)。 第一步,打开谷歌浏览器,点击链接 https://github.com/facefusion/facefusioncolab 并点击 open colab 进到程序主要运行界面,在右上角点击“代码执行程序”选择“全部运行”。 第二步,点击“source”上传自己的照片和“target”上传之前的剪映数字人视频,保持默认参数,点击“START”生成。 第三步,等待专属的数字人视频出炉。 3. 关于数字人的一些算法开源代码仓库: ASR 语音识别:openai 的 whisper:https://github.com/openai/whisper ;wenet:https://github.com/wenete2e/wenet ;speech_recognition:https://github.com/Uberi/speech_recognition 。 AI Agent:大模型部分包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等等。Agent 部分可以使用 LangChain 的模块去做自定义,里面基本包含了 Agent 实现的几个组件 。 TTS:微软的 edgetts:https://github.com/rany2/edgetts,只能使用里面预设的人物声音,目前接口免费;VITS:https://github.com/jaywalnut310/vits,还有很多的分支版本;sovitssvc:https://github.com/svcdevelopteam/sovitssvc,专注到唱歌上面。 简单构建数字人还存在一些问题,例如如何生成指定人物的声音、TTS 生成的音频如何精确驱动数字人口型以及做出相应的动作、数字人如何使用知识库做出某个领域的专业性回答等。
2024-12-24
ChatGPT如何训练需要的模型
ChatGPT 的训练模型主要包括以下几个方面: 1. 预训练(Pretrain)阶段:建立模型的能力上限,如确定模型各方面能力的天花板。此阶段跟 GPT3 的方法近似,例如采用 decoderonly 的网络架构,有特定的模型大小、输入窗口大小、单词本大小,见过大量的 tokens,使用大量的原始训练文本。 2. 监督微调(Supervised Finetune,SFT)阶段:让模型学会对话的形式展开,即知道如何按照对话的格式进行交流。 3. 强化学习从人类反馈(Reinforcement Learning from Human Feedback,RLHF)阶段:细分为奖励模型(RM)阶段和强化学习(RL)阶段,能激发模型具备多种能力,包括安全性、推理能力和稳定性等。 训练方式主要是通过材料学习,不断形成模型。其本质功能是“单字接龙”,通过自回归生成的方式,将生成的下一个词与之前的上文组合,不断重复生成任意长的下文。训练的目的不是记忆,而是学习提问和回答的通用规律,实现举一反三,即泛化。学习材料用于调整模型,得到通用模型,以处理未被数据库记忆的情况。ChatGPT 不是搜索引擎的升级版,搜索引擎无法给出未被数据库记忆的信息,而 ChatGPT 作为生成模型可以创造不存在的文本,但可能存在混淆记忆、无法直接查看和更新所学、高度依赖学习材料以及缺乏及时性和准确性等缺点。
2024-12-24
主流的AI应用开发平台有哪些
以下是一些主流的 AI 应用开发平台: 1. 图虫网:这是一个 AI 摄影作品销售平台,运用图像识别、数据分析技术,市场规模达数亿美元。它为摄影爱好者提供作品销售渠道,利用 AI 技术对摄影作品进行分类和推荐。 2. 网易云音乐音乐人平台:作为 AI 音乐作品发布平台,采用音频处理、数据分析技术,市场规模达数亿美元。为音乐创作者提供作品发布、推广、版权管理等服务。 3. 好好住 APP:这是一个 AI 家居用品推荐平台,使用数据分析、自然语言处理技术,市场规模达数亿美元。能根据用户需求推荐家居用品。 4. 东方财富网投资分析工具:作为 AI 金融投资分析平台,运用数据分析、机器学习技术,市场规模达数十亿美元。分析金融市场,为投资者提供投资建议和决策支持。 5. 500px 摄影社区:这是一个 AI 摄影比赛平台,利用图像识别、数据分析技术,市场规模达数亿美元。举办摄影比赛,展示优秀摄影作品。 6. Logic Pro X 教学软件:作为 AI 音乐制作教学平台,采用机器学习、音频处理技术,市场规模达数亿美元。为用户提供个性化的音乐制作教学服务。 7. 鲁班到家 APP:这是一个 AI 家居维修服务平台,运用数据分析、自然语言处理技术,市场规模达数亿美元。为用户提供家居维修服务。 8. 雪球财经 APP:作为 AI 金融投资教育平台,使用数据分析、自然语言处理技术,市场规模达数亿美元。为用户提供个性化的金融投资教育服务。 9. 美团外卖配送系统:这是一个 AI 物流配送优化系统,运用数据分析、机器学习技术,市场规模达数十亿美元。优化物流配送路线,提高配送效率。 10. 猎聘 APP:作为 AI 招聘求职平台,采用数据分析、自然语言处理技术,市场规模达数十亿美元。连接求职者和招聘企业,促进就业。 11. 链家 APP:这是一个 AI 房地产交易平台,运用数据分析、自然语言处理技术,市场规模达数十亿美元。为买卖双方提供房地产交易平台。 12. 游戏开发工具 Unity:作为 AI 游戏关卡生成器,使用图像生成、机器学习技术,市场规模达数亿美元。为游戏开发者自动生成游戏关卡。
2024-12-24
如何训练模型
训练模型的方法有多种,以下为您介绍几种常见的训练模型方式: 1. 用 SD 训练一套贴纸 LoRA 模型: 原始形象:MJ 初步产出符合设计想法的贴纸原始形象。 二次加工:完成贴纸的白色边线等细节加工。 处理素材:给训练集图片打 tag,修改 tag。 训练模型:将上述处理好的数据集做成训练集,进行训练。 2. 基于百川大模型训练虚拟专家: 选择 Baichuan27BChat 模型作为底模,配置模型本地路径,配置提示模板。 在 Train 页面里,选择 sft 训练方式,加载定义好的数据集 wechat 和 self_cognition。 学习率和训练轮次非常重要,根据自己的数据集大小和收敛情况来设置。 使用 FlashAttention2 可减少显存需求,加速训练速度。 显存小的朋友可以减少 batch size 和开启量化训练,内置的 QLora 训练方式非常好用。 需要用到 xformers 的依赖。 显存占用 20G 左右,耐心等待一段时间。 3. 使用编码器解码器架构构建诗歌生成器: 在训练模型之前,需要一个损失函数,由于本质上是一个多类分类问题,损失将是稀疏的分类交叉熵损失,配置从 logits 计算的损失。 有了损失后编译模型,将损失和优化器联系在一起。 选择训练的时期,一个时期是对数据集的完整传递,进行多次训练,并提供回调以确保在训练期间保存权重。 从实际的字符串中提取字符序列,使用 TensorFlow 的 TF 字符串 Unicode 拆分功能。 将字符序列转化为数字,使用 TF Keras 层中的 StringLookup 函数将每个字符映射到给定的 ID,也可使用同一层的 StringLookup 函数获得反向映射。 将处理后的数据作为神经网络的训练数据集,使用 TF Data Dataset API。
2024-12-24
推荐 GraphRAG 的学习文档
以下是为您推荐的 GraphRAG 学习文档: 1. ,其中包含 GraphRAG 相关内容。 2. ,涉及 GraphRAG 内容。 3. ,有关于 GraphRAG 的介绍。 4. ,包含 GraphRAG 相关内容。 5. ,通俗易懂地介绍了 GraphRAG 的原理、与传统 RAG 的区别、GraphRAG 的优势、知识图谱的创建和利用知识图谱工作。
2024-12-24
如何学习创建智能体
学习创建智能体可以参考以下内容: 1. 了解智能体的基本概念: 智能体大多建立在大模型之上,从基于符号推理的专家系统逐步演进而来。 基于大模型的智能体具有强大的学习能力、灵活性和泛化能力。 智能体的核心在于有效控制和利用大型模型,提示词设计直接影响其表现和输出结果。 2. 实践操作: 基于公开的大模型应用产品(如Chat GLM、Chat GPT、Kimi等)尝试开发。 例如,在相关平台上: 点击“浏览GPTs”按钮。 点击“Create”按钮创建自己的智能体。 使用自然语言对话或手工设置进行具体操作。 调试并发布智能体。 3. 利用特定平台: 如智谱BigModel: 注册智谱Tokens智谱AI开放平台:https://bigmodel.cn/ 。 获取资源包,如新注册用户送2000万Tokens,或通过充值、购买多种模型的低价福利资源包,或共学营报名赠送资源包。 进入智能体中心我的智能体开始创建智能体。 如字节的扣子: 扣子官网:https://www.coze.cn/ 。 通过简单3步创建智能体,包括起名称、写介绍、使用AI创建头像。
2024-12-24
具身智能
具身智能是人工智能领域的一个子领域,强调智能体通过与物理世界或虚拟环境的直接交互来发展和展现智能。 其核心在于智能体的“身体”或“形态”,这些身体可以是物理形态如机器人的机械结构,也可以是虚拟形态如模拟环境中的虚拟角色。身体不仅是与环境互动的手段,也影响智能体的学习和发展。 具身智能的研究涉及多个学科,包括机器人学、认知科学、神经科学和计算机视觉等。在机器人学中关注设计能自主行动和适应环境的机器人;在认知科学和神经科学中探索大脑处理与身体相关信息的机制及应用于人造智能系统;在计算机视觉中致力于开发使智能体理解和解释视觉信息的算法。 具身智能在机器人领域有重要应用,特别是服务机器人、工业自动化和辅助技术等方面,能让机器人更好地理解和适应人类生活环境,提供更自然有效的人机交互。在虚拟现实、增强现实和游戏设计等领域也有广泛应用,创造更具沉浸感和交互性的体验。 具身智能的三要素为本体(硬件载体)、智能(大模型、语音、图像、控制、导航等算法)、环境(本体所交互的物理世界),本体、智能、环境的高度耦合是高级智能的基础,不同环境下有不同形态的硬件本体适应环境。 具身智能的行动分为“感知决策行动反馈”四个步骤,形成一个闭环。 在追求人工通用智能(AGI)的过程中,具身 Agent 正成为核心研究范式,它强调智能系统与物理世界的紧密结合,能够主动感知和理解所在环境并互动,产生具身行动。 尽管具身智能取得显著进展,但仍面临诸多挑战,如设计智能体身体以最大化智能表现、让智能体在复杂环境中有效学习、处理与人类社会的伦理和安全问题等。
2024-12-24