能识别视频来源的工具

以下是关于文字生成视频（文生视频）的相关信息： 一些提供文生视频功能的产品： Pika：擅长动画制作，支持视频编辑。 SVD：Stable Diffusion 的插件，可在图片基础上生成视频。 Runway：老牌工具，提供实时涂抹修改视频功能，但收费。 Kaiber：视频转视频 AI，能将原视频转换成各种风格。 Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 更多相关网站可查看：https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤（以梦 AI 为例）： 进入平台：打开梦 AI 网站并登录，新用户有积分可免费体验。 输入提示词：涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成：确认提示词无误后，选择模型、画面比例，点击「生成」按钮。 预览与下载：生成完毕后预览视频，满意则下载保存，不理想可调整提示词再试。 视频模型 Sora：OpenAI 发布的首款文生视频模型，能根据文字指令创造逼真且充满想象力的场景，可生成长达 1 分钟的一镜到底超长视频，视频中的人物和镜头具有惊人的一致性和稳定性。

以下是 4 月 11 日、4 月 9 日和 4 月 14 日的 AI 视频相关资讯汇总： 4 月 11 日： Pika 上线 Pika Twists 能力，可控制修改原视频中的任何角色或物体。 Higgsfield Mix 在图生视频中，结合多种镜头运动预设与视觉特效生成视频。 FantasyTalking 是阿里技术，可制作角色口型同步视频并具有逼真的面部和全身动作。 LAM 开源技术，实现从单张图片快速生成超逼真的 3D 头像，在任何设备上快速渲染实现实时互动聊天。 Krea 演示新工具 Krea Stage，通过图片生成可自由拼装 3D 场景，再实现风格化渲染。 Veo 2 现已通过 Gemini API 向开发者开放。 Freepik 发布视频编辑器。 Pusa 视频生成模型，无缝支持各种视频生成任务（文本/图像/视频到视频）。 4 月 9 日： ACTalker 是多模态驱动的人物说话视频生成。 Viggle 升级 Mic 2.0 能力。 TestTime Training在英伟达协助研究下，可生成完整的 1 分钟视频。 4 月 14 日： 字节发布一款经济高效的视频生成基础模型 Seaweed7B。 可灵的 AI 视频模型可灵 2.0 大师版及 AI 绘图模型可图 2.0 即将上线。

以下是为您提供的 AI 视频教学相关内容： 1. 第一节回放 AI 编程从入门到精通： 课程安排：19、20、22 和 28 号四天进行 AI 编程教学，周五晚上穿插 AI 视频教学。 视频预告：周五晚上邀请小龙问露露拆解爆火的 AI 视频制作，视频在视频号上有大量转发和播放。 编程工具 tree：整合多种模型，可免费无限量试用，下载需科学上网，Mac 可拖到文件夹安装，推荐注册 GitHub 账号用于代码存储和发布，主界面分为工具区、AI 干活区、右侧功能区等。 网络不稳定处理：网络不稳定时尝试更换节点。 项目克隆与文件夹：每个项目通过在本地新建文件夹来区分，项目运行一轮一轮进行，可新建会话，终端可重开。 GitHub 仓库创建：仓库相当于本地项目，可新建，新建后有地址，可通过多种方式上传。 Python 环境安装：为方便安装提供了安装包，安装时要选特定选项，安装后通过命令确认。 代码生成与修改：在 tree 中输入需求生成代码，可对生成的代码提出修改要求，如添加滑动条、雪花形状、颜色等，修改后审查并接受。 2. AI 视频提示词库： 神秘风 Arcane：Prompt：a robot is walking through a destroyed city,,League of Legends style,game modelling 乐高 Lego：Prompt：a robot is walking through a destroyed city,,lego movie style,bright colours,block building style 模糊背景 Blur Background：Prompt：a robot is walking through a destroyed city,,emphasis on foreground elements,sharp focus,soft background 宫崎骏 Ghibli：Prompt：a robot is walking through a destroyed city,,Spirited Away,Howl's Moving Castle,dreamy colour palette 蒸汽朋克 Steampunk：Prompt：a robot is walking through a destroyed city,,fantasy,gear decoration,brass metal robotics,3d game 印象派 Impressionism：Prompt：a robot is walking through a destroyed city,,big movements

目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。

目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。

以下是一个关于自动化出视频工作流的详细介绍： 优势： 全自动化处理，解放双手。 40 秒快速出片，效率提升。 成本低廉，每条仅需 0.0x 元。 输出质量稳定专业。 DeepseekR1 保证文案质量。 还能改进，例如可以加入配套 BGM，让视频更有感染力；增加更丰富的画面内容和转场效果；使用免费节点替代付费插件，进一步降低成本；优化模板样式，支持更多展示形式；增加自动化程度，支持批量处理。 工作流程： 1. 可以在扣子商店体验，建议自己搭建。 2. 工作流调试完成后，加入到智能体中，可以选择工作流绑定卡片数据，智能体则通过卡片回复。 3. 选择发布渠道，重点如飞书多维表格，填写上架信息（为了快速审核，选择仅自己可用），确认发布等待审核，审核通过后即可在多维表格中使用。 4. 创建飞书多维表格，添加相关字段，配置选择“自动更新”，输入相关字段后，“文案视频自动化”字段捷径会自动调用工作流，生成视频。 5. 表单分享，实现“填写表单，自动创建文案短视频”的效果。 6. 全自动视频合成使用多视频融合插件，一键导出成品。但需注意节点产生的视频是异步生成，可能无法马上展现，需耐心等待几秒。 如果您还有其他疑问或需要进一步的帮助，请随时联系。

识别网页内容通常可以通过以下步骤实现： 1. 内容识别：使用智能算法分析网页的 HTML 结构，确定网页的主要内容区域。 2. 文本提取：在识别出内容区域后，提取这些区域的文本内容，包括从 HTML 标签中获取可见文本，同时忽略脚本、样式和其他无需翻译的代码。 3. 预处理：对提取出的文本进行处理，清除不必要的空格、特殊字符和格式信息，进行标准化。 4. 翻译调用：将预处理后的文本拼接到 Prompt 模板中请求相关模型的 API 进行翻译。 5. 结果整合：翻译完成后，将原文和译文对照整合回网页、字幕中，常见的展示形式有原文保持不变，译文以悬浮框、下划线注释或平行文本呈现。 6. 用户界面交互：用户可通过鼠标悬停、点击等操作控制翻译的显示与否，工具会根据用户操作实时显示或隐藏译文。 另外，在获取网页内容时，初版提示词实验中对大模型对话产品的外链解析能力依赖较大，但这种方式易受平台反爬机制制裁。转换思路，通过用户浏览器以浏览器插件形式本地提取网页内容是一种稳定且经济的解决方案。开发时，可拿着初版提示词询问 AI 来确定需要插件获取哪些网页元素。例如 SeeAct 能力可以在多种不同网站上识别网页上的各种元素，执行不同任务。

以下是为您生成的 10 个业务价值高、具备可行性的 AI 应用场景介绍： 1. 人才招聘与筛选 What：利用 AI 技术对求职者的简历进行自动筛选和分析，评估其与岗位的匹配度。 Why：节省 HR 大量的时间和精力，提高招聘效率和准确性。 How：通过自然语言处理和机器学习算法，训练模型识别关键信息和技能。 2. 员工培训与发展 What：根据员工的技能水平和职业发展目标，定制个性化的培训计划。 Why：提升员工的能力和绩效，增强员工对企业的忠诚度。 How：利用大数据分析员工的工作表现和学习需求，推荐相关课程和学习资源。 3. 薪酬福利管理 What：运用 AI 预测市场薪酬趋势，为企业制定合理的薪酬策略。 Why：保持企业薪酬的竞争力，吸引和留住优秀人才。 How：收集和分析行业薪酬数据，结合企业的财务状况和战略目标进行优化。 4. 员工绩效评估 What：借助 AI 实时监测员工的工作表现，提供客观的绩效评估。 Why：减少人为偏差，确保评估的公正性和准确性。 How：利用工作流程数据和行为分析模型进行评估。 5. 员工关系管理 What：通过 AI 分析员工的情绪和满意度，及时发现问题并解决。 Why：营造良好的工作氛围，提高员工的工作积极性和创造力。 How：使用情感分析技术处理员工的反馈和交流信息。 6. 组织架构优化 What：利用 AI 分析企业的业务流程和人员配置，提供组织架构调整建议。 Why：提高企业的运营效率和灵活性，适应市场变化。 How：基于数据分析和模拟优化算法进行评估和推荐。 7. 人力资源规划 What：根据企业的战略目标和业务发展预测人力资源需求。 Why：提前做好人才储备和招聘计划，保障企业的正常运营。 How：运用数据分析和预测模型进行规划。 8. 企业文化传播 What：使用 AI 生成个性化的企业文化宣传内容，提高传播效果。 Why：增强员工对企业文化的认同感和归属感。 How：利用自然语言生成技术和个性化推荐算法。 9. 智能客服 What：在 HR 服务中引入 AI 客服，解答员工常见问题。 Why：快速响应员工需求，提高服务质量。 How：训练智能客服模型，涵盖常见的 HR 问题和解决方案。 10. 人才库管理 What：利用 AI 对人才库进行分类和更新，提高人才库的利用效率。 Why：方便快速找到合适的人才，降低招聘成本。 How：运用数据挖掘和分类算法进行管理。

以下是为您提供的 3 个业务价值高、具备可行性的 AI 应用场景介绍： 场景一：AI 在企业招聘中的应用 What：利用 AI 技术进行简历筛选、人才匹配和面试评估。 Why：能够快速处理大量简历，提高招聘效率和准确性，节省人力和时间成本，同时更精准地找到符合岗位需求的人才。 How：通过引入相关的 AI 招聘软件，与企业现有的招聘系统集成，对简历进行关键词提取和分析，利用机器学习算法进行人才匹配，并通过视频面试中的语音和表情分析辅助评估候选人。 场景二：AI 助力个性化人力资源管理 What：根据员工的个人特点和工作表现，提供个性化的培训计划、职业发展建议和绩效评估。 Why：能够充分发挥员工的潜力，提高员工满意度和忠诚度，促进企业的长期发展。 How：收集员工的工作数据、学习记录和绩效表现等信息，运用 AI 算法进行分析和预测，为员工制定专属的发展方案，并通过移动应用或内部系统向员工推送相关建议和培训课程。 场景三：AI 打造无人值守的 HR 平台 What：实现 HR 业务的自动化处理，如员工请假审批、薪酬计算和福利发放等。 Why：减少人工操作的错误和繁琐流程，提高 HR 工作的效率和准确性，使 HR 人员能够专注于更有价值的战略工作。 How：整合企业内部的各种 HR 系统和数据，利用 RPA 和 AI 技术实现流程的自动化，同时建立监控和预警机制，确保平台的稳定运行。

以下是为您整合的关于人脸识别软件的相关信息： 在“【已结束】AI 创客松 参与同学自我介绍和分类”中，Dylan 擅长人脸识别算法和动作捕捉产品。 在“SmartBotX 模块化桌面机器人——说明文档”中，桌面客户端提供面部识别或跟踪功能的展示，可能用于安全监控、用户识别或交互式体验。 在“14、LayerStyle 副本”中，使用 YoloV8 模型可以检测人脸、手部 box 区域或者人物分割，支持输出所选择数量的通道。同时，Mediapipe 模型可以检测人脸五官，分割左右眉、眼睛、嘴唇和牙齿。

以下为一些本地人脸识别工具的相关信息： PersonMaskUltra：为人物生成脸、头发、身体皮肤、衣服或配饰的遮罩。具有超高的边缘细节，模型代码来自。节点选项包括：face（脸部识别）、hair（头发识别）、body（身体皮肤识别）、clothes（衣服识别）、accessories（配饰识别）、background（背景识别）、confidence（识别阈值）、detail_range（边缘细节范围）、black_point（边缘黑色采样阈值）、white_point（边缘黑色采样阈值）、process_detail（设为 False 将跳过边缘处理以节省运行时间）。还有 V2 升级版 PersonMaskUltraV2，增加了 VITMatte 边缘处理方法，在 PersonMaskUltra 的基础上改变了 detail_method（边缘处理方法）、detail_erode（遮罩边缘向内侵蚀范围）、detail_dilate（遮罩边缘向外扩张范围）。 YoloV8Detect：使用 YoloV8 模型检测人脸、手部 box 区域，或者人物分割。支持输出所选择数量的通道。需在下载模型文件并放到 ComfyUI/models/yolo 文件夹。节点选项包括：yolo_model（yolo 模型选择）、mask_merge（选择合并的遮罩）。输出包括 mask（输出的遮罩）、yolo_plot_image（yolo 识别结果预览图）、yolo_masks（yolo 识别出来的所有遮罩）。 MediapipeFacialSegment：使用 Mediapipe 模型检测人脸五官，分割左右眉、眼睛、嘴唇和牙齿。节点选项包括：left_eye（左眼识别开关）、left_eyebrow（左眉识别开关）、right_eye（右眼识别开关）、right_eyebrow（右眉识别开关）、lips（嘴唇识别开关）、tooth（牙齿识别开关）。 此外，关于 AI 换脸，有开源免费的解决方案 facefusion： 本机解决方案：需要 python 环境及安装多个依赖软件，对编程知识有一定要求，且运行推理计算速度依赖 GPU，本地计算机若无 GPU 或 GPU 显存较小，执行速度缓慢，不推荐本地化安装。 云服务解决方案：可利用云厂商如阿里云的 PAI 和 AutoDL 已提供的大模型运行环境和计算能力，需产生一定费用。以 AutoDL 为例，注册后在算力市场中选择可接受价格的算力服务器，建议选取 GPU 配置更高的算力设备。通过在算法社区查找 facefusion 镜像，选择合适的镜像启动 GPU 服务器。

以下是关于人脸识别的相关信息： SmartBotX 模块化桌面机器人的桌面客户端提供面部识别或跟踪功能的展示，可能用于安全监控、用户识别或交互式体验。 设计：AIGC 世代的设计新范式 ver 东华.pdf 中提到了人脸识别相关技术，如 MTCNN、Centerface、LUVLi Face Alignment 等人脸检测和人脸对齐技术，以及 InsightFace 等人脸识别技术。 LayerStyle 副本中的 PersonMaskUltra 节点具有脸部、头发、身体皮肤、衣服、配饰和背景等的识别功能，还包括识别阈值、边缘细节范围、黑色和白色采样阈值等节点选项。PersonMaskUltraV2 是其升级版，增加了 VITMatte 边缘处理方法，并对边缘处理做了相关改变。

以下 AI 工具可以实现提取多个指定网页的更新内容： 1. Coze：支持自动采集和手动采集两种方式。自动采集包括从单个页面或批量从指定网站中导入内容，可选择是否自动更新指定页面的内容及更新频率。批量添加网页内容时，输入要批量添加的网页内容的根地址或 sitemap 地址然后单击导入。手动采集需要先安装浏览器扩展程序，标注要采集的内容，内容上传成功率高。 2. AI Share Card：能够一键解析各类网页内容，生成推荐文案，把分享链接转换为精美的二维码分享卡。通过用户浏览器，以浏览器插件形式本地提取网页内容。

以下是一些根据简历进行模拟面试的工具： 1. Kimi 新出的常用语功能中有“【🎤面试模拟】”，它可以作为私人面试 mock 伙伴，根据简历信息和求职岗位进行模拟面试。 2. 通过让 ChatGPT 接入 Siri 可以模拟前端电话面试。具体操作是首先按照特定文章接入，然后在手机上唤起 ChatGPT 版本的 Siri 并设定身份和对话目的，如让其作为一位来面试的前端高级开发工程师，接着依次提问。 3. ChatGPT 可以更高效地辅助复习面试，您可以把问题给到 ChatGPT 让它帮您生成答案，并展示 demo 和解释，帮助您更好地掌握知识。相关文档在线地址：https://xzfeinterview.gitbook.io/feinterview/readme

如果您已经学习了如何编写 prompt ，接下来可以学习以下内容： 1. 理解 Token 限制：形成“当前消耗了多少 Token”的自然体感，把握有效记忆长度，避免在超过限制时得到失忆的回答。同时，编写 Prompt 时要珍惜 Token ，秉承奥卡姆剃刀原理，精简表达，尤其是在连续多轮对话中。 熟练使用中英文切换，若 Prompt 太长可用英文设定并要求中文输出，节省 Token 用于更多对话。 了解自带方法论的英文短语或句子，如“Chain of thought”。 2. 学习精准控制生成式人工智能：重点学习提示词技术，编写更清晰、精确的指令，引导 AI 工具产生所需结果。 探索构建智能体（AI Agents），将工作单元切割开，赋予其特定角色和任务，协同工作提高效率。 在实际应用中遵循准则，如彻底变“懒人”、能动嘴不动手、能让 AI 做的就不自己动手、构建自己的智能体、根据结果反馈调整智能体、定期审视工作流程看哪些部分可用更多 AI 。 3. 若想进一步提升： 学习搭建专业知识库、构建系统知识体系，用于驱动工作和个人爱好创作。 注重个人能力提升，尤其是学习能力和创造能力。 您还可以结合自身生活或工作场景，想一个能简单自动化的场景，如自动给班级孩子起昵称、排版运营文案、安排减脂餐、列学习计划、设计调研问卷等。选一个好上手的提示词框架开启第一次有效编写，比如从基础的“情境:”开始。

以下是一些可以将 Word 转换为 PDF 的 AI 工具： 1. DeepL（网站）：点击页面「翻译文件」按钮，上传 PDF、Word 或 PowerPoint 文件即可。 2. 沉浸式翻译（浏览器插件）：安装插件后，点击插件底部「更多」按钮，选择「制作双语 BPUB 电子书」、「翻译本地 PDF 文件」、「翻译 THML/TXT 文件」、「翻译本地字幕文件」。 3. Calibre（电子书管理应用）：下载并安装 calibre，并安装翻译插件「Ebook Translator」。 4. 谷歌翻译（网页）：使用工具把 PDF 转成 Word，再点击谷歌翻译「Document」按钮，上传 Word 文档。 5. 百度翻译（网页）：点击导航栏「文件翻译」，上传 PDF、Word、Excel、PPT、TXT 等格式的文件，支持选择领域和导出格式（不过进阶功能基本都需要付费了）。 6. 彩云小译（App）：下载后点击「文档翻译」，可以直接导入 PDF、DOC、DOCX、PPT、PPTX、TXT、epub、srt 等格式的文档并开始翻译（不过有免费次数限制且进阶功能需要付费）。 7. 微信读书（App）：下载 App 后将 PDF 文档添加到书架，打开并点击页面上方「切换成电子书」，轻触屏幕唤出翻译按钮。 内容由 AI 大模型生成，请仔细甄别。

以下是一些常见的作图 AI 工具： 绘制软件架构视图（逻辑视图、功能视图、部署视图）的工具： Lucidchart：流行的在线绘图工具，支持多种图表创建，有拖放界面方便创建架构图。 Visual Paradigm：全面的 UML 工具，提供多种架构视图创建功能。 ArchiMate：开源建模语言，与 Archi 工具配合可创建逻辑视图。 Enterprise Architect：强大的建模、设计和生成代码工具，支持多种架构视图创建。 Microsoft Visio：广泛使用的图表和矢量图形应用程序，有丰富模板。 draw.io（diagrams.net）：免费在线图表软件，支持多种视图创建。 PlantUML：文本到 UML 转换工具，可通过描述文本生成逻辑视图相关图表。 Gliffy：基于云的绘图工具，支持创建架构图。 Archi：免费开源工具，用于创建 ArchiMate 和 TOGAF 模型。 Rational Rose：IBM 的 UML 工具，支持逻辑视图和部署视图创建。 绘制 CAD 图的工具： CADtools 12：Adobe Illustrator 插件，添加绘图和编辑工具。 Autodesk Fusion 360：集成 AI 功能的云端 3D CAD/CAM 软件。 nTopology：基于 AI 的设计软件，帮助创建复杂 CAD 模型。 ParaMatters CogniCAD：基于 AI 的 CAD 软件，自动生成 3D 模型。 主流 CAD 软件（如 Autodesk 系列、SolidWorks 等）中的生成设计工具。 此外，Controlnet 的作者 lllyasviel（张吕敏）在 Github 上发布了全新的开源 AI 绘画工具 Fooocus，可像 Stable diffusion WebUI 一样部署到本地免费使用，且有类似 midjourney 的便捷操作界面。

以下是一些可用于装修设计的 AI 工具： 1. 酷家乐装修设计软件：利用图像生成和机器学习技术，为用户提供装修设计方案，用户可根据喜好选择和调整。 2. CADtools 12：Adobe Illustrator 插件，为 AI 添加 92 个绘图和编辑工具，包括图形绘制、编辑、标注、尺寸标注、转换、创建和实用工具。 3. Autodesk Fusion 360：集成了 AI 功能的云端 3D CAD/CAM 软件，能创建复杂几何形状和优化设计。 4. nTopology：基于 AI 的设计软件，可创建复杂 CAD 模型，包括拓扑优化、几何复杂度和轻量化设计等。 5. ParaMatters CogniCAD：基于 AI 的 CAD 软件，能根据用户输入的设计目标和约束条件自动生成 3D 模型，适用于拓扑优化、结构设计和材料分布等领域。 6. 生成设计工具：一些主流 CAD 软件，如 Autodesk 系列、SolidWorks 等，提供基于 AI 的生成设计工具，可根据输入自动产生多种设计方案。 7. HDAidMaster：云端工具，在建筑、室内和景观设计领域表现出色，搭载自主训练的建筑大模型 ArchiMaster。 8. Maket.ai：面向住宅行业，在户型和室内软装设计方面有探索，能根据输入自动生成户型图。 9. ARCHITEChTURES：AI 驱动的三维建筑设计软件，在住宅设计早期引入标准和规范约束生成的设计结果。 10. Fast AI 人工智能审图平台：形成全自动智能审图流程，将建筑全寿命周期内信息集成，实现数据汇总与管理。 但每个工具都有特定应用场景和功能，建议根据具体需求选择合适的工具。

如果只推荐一种 AI 信息来源，以下是一些选择： 对于初学者，推荐看 Open AI 的官方 Cookbook，小琪姐做了中文精读翻译。 从简报方面，TLDR AI（）等是不错的选择。 播客方面，No Priors podcast hosted by Sarah Guo and Elad Gil、Robot Brains Podcast hosted by Pieter Abbeel、Lex Fridman Podcast hosted by Lex Fridman、The Gradient podcast hosted by Daniel Bashir、Generally Intelligent hosted by Kanjun Qiu、Last Week in AI 等值得关注。 会议方面，工业界的 World AI Cannes Festival、Gen AI conference（）等都是获取 AI 信息的重要渠道。 此外，还可以通过赛博蝉星公众号、国外优质博主的 blog 或 Twitter 等订阅获取最新信息，也可以参考通往 AGI 之路知识库中的相关内容，如 AI 相关名词解释、经典必读文章、历史脉络类资料等。

以下是关于 AI 应用赛道的相关介绍： 应用场景：涵盖医疗、制造业、金融风控、消费端个性化服务、办公、农业、能源优化、娱乐等领域。 关键技术： 1. 包括大语言模型作为中枢神经系统，记忆模块实现长期和短期记忆，以及规划能力中的目标设定、任务拆解、生成策略、执行与反馈、资源管理和多智能体协同。 2. 强化学习用于环境感知和决策调整，多模态融合涉及多种数据类型，低成本训练是考虑成本的重要因素。 智能体特征：包括自主性、交互性和适应性，如通过自我对弈和博弈不断进化，在金融风控领域利用大量数据提升准确率。 AI 技术路线：从有语言能力的 AI 到有推理能力，再到能使用工具、发明创新以及形成组织，共五级。 智能体框架类型：分为任务驱动型、多智能体协作、强化学习型、具身智能体、应用型智能体，每种类型都有代表性框架。 智能体与大模型的关系：大模型是中枢和基石，智能体是行动引擎，两者协同演进，智能体产生的数据可反哺大模型。 未来趋势：智能体可能在中小企业中更具效益，人机协作中人类成为监督角色，但存在算力成本、伦理风险、技术瓶颈等挑战。 B 端变现与创业方向： 1. B 端变现细分包括高频率和大规模的内容生产细分，如文字、视频、3D 模型、AI 智能体等，底层是需求和数据收集及训练模型，算力和能源是关键。 2. 自媒体创业：视频号等平台尚有蓝海空间，需具备内容创新和差异化，内容成本低且更新迭代快。 3. 游戏创业：个人或团队可做轻量化游戏，结合 AI 技术，满足放松和社交需求，专注垂类赛道，避免与大厂竞争。 4. 影视创业：25 年将是拐点，更多内容会采用 AI 技术，如哪吒 2 因前期规划未用 AI 技术。 5. 广告营销创业：重点是 AI 虚拟人，数字插画可走治愈类型，要明确平台用户画像和产品定位，做好次留存和引入私域。 AI 虚拟人的发展与创业机遇： 1. 创业难点：创业对创业者综合能力要求极高，找到志同道合且能力互补的战友是创业前期最难的事。 2. AI 虚拟人发展：从早期以首位为核心的宅文化虚拟偶像，到以 CG 技术和动捕语音合成技术为核心的角色，再到如今以动捕和人工智能技术为核心的服务型虚拟人，其发展历程不断演进。 3. 虚拟人产业链：包括基础层的硬件和软件研发，平台层如商汤、百度等提供工具和系统，应用层涉及影视、传媒、游戏、金融、文旅等内容变现。 4. 未来创业机遇：AI 虚拟人是未来 310 年 Web 3.0 的风口，提前布局未来有潜力的赛道，准备好迎接机遇。 相关案例和产品信息： 1. 10 月 26 日，AI 翻译和口型匹配技术在视频制作中的应用逐渐流行，公司如 Captions、HeyGen 和 Verbalate 通过 AI 生成字幕、配音和口型匹配等功能，帮助用户轻松实现视频翻译本地化。 2. 10 月 25 日，Perplexity 最新估值约为 5 亿美元，较 3 月宣布的 1.5 亿美元估值上涨 300%以上，当前的付费用户数量达到了 1.5 万人，截止本月，Perplexity 的 ARR 达到 300 万美元，最新估值约为 ARR 的 150 倍。 3. 《100 个有意思的 AI 应用》由国盛证券出品，分为基于 LLM 自然语言能力的对话、写作、阅读、分析等应用；多模态技术持续发展，图像、视频、音频、3D 等 AIGC 应用；企业级应用等。

以下是关于操作来源模型的相关内容： 对于某些模型，如 Llama3.1 8B Instruct，操作方式如下： 1. 选择自定义提示词（也可选择预定义的话题，即黑色按钮，黑色按钮会有新手使用指引）。然后左边会出现熟悉的 chat 界面。 2. 输入对话内容，等待左右两边的内容生成。若右边的分析未刷新，在相关按钮间切换。 3. Activation Mode 可获得整段的推理判断；Attribution Mode 需选中一个 token，它会分析对应的最大关联内容。 对于 ComfyUI 玩 SDXL 的模型，操作要点包括： 1. 添加噪波：disable，运行后操作：fixed，步数：30，开始降噪步数：20，结束降噪步数：30，返回噪波：disable。 2. 若将 refiner 的模型连上提示词导致第一个 base 模型的链接断开，可通过加入新节点（右键点击【新建节点】【实用工具】【Primitive 元节点】），在文本节点上单击右键选择【转换文本为输入】，将元节点与文本节点相连接，复制出正负提示词节点分别给 base 模型和 refiner 模型，再将 base 模型的一套输出给第一个采样器节点，refiner 模型的一套输出给第二个采样器节点，使两个模型同时起作用。 对于 Tusiart 模型： 1. 首页包括模型、帖子、排行榜，可查看大手子炼成的模型、图片，不同模型有 checkpoint 和 lora 等标签，还有 XL 标签属于 SDXL 新模型，点击可看模型详细信息及返图区。 2. 基础模型（checkpoint）是生图必需的，任何生图操作必须选定，lora 是低阶自适应模型，可有可无，但对细节控制有价值。 3. ControlNet 可控制图片中特定图像，VAE 类似于滤镜可调整生图饱和度，选择 840000 即可。 4. Prompt 提示词是想要 AI 生成的内容，负向提示词 Negative Prompt 是想要 AI 避免产生的内容。

以下是一些优秀的大模型： Google 的 T5：属于 encoderdecoder 类型的模型，适用于翻译和摘要等任务。 OpenAI 的 GPT3：预训练数据量大，参数众多，能根据用户输入的任务描述或示例完成任务。 ChatGPT：用户通过像和人类对话的方式即可完成任务。 国内的优秀大模型有： 智谱清言（清华&智谱 AI）：基础模型为 ChatGLM 大模型。在工具使用排名国内第一，在计算、逻辑推理、传统安全能力上排名国内前三，更擅长专业能力，但代码能力有优化空间，知识百科稍显不足。可应用于 AI 智能体、较复杂推理、广告文案、文学写作等场景。 通义千问 2.0（阿里云）：在语言理解与抽取、角色扮演能力上排名国内前一，在代码、生成与创作、上下文对话能力上排名国内前三，各项能力较为均衡。聚焦在移动设备端的应用，涵盖知识、记忆、工具、创作等方向，支持多种工具和文生文、文生图等场景。 Baichuan213BChat（百川智能）：百川智能自主训练的开源大语言模型，是中文开源模型的主导力量。

以下是国内外一些较好的大模型及其对比介绍： 国外大模型： GPT4 Turbo 总分 90.63 分遥遥领先，在各项能力上表现出色。 国内大模型： 文心一言 4.0（API）总分 79.02 分，过去 1 年有长足进步。 通义千问 2.0（阿里云）：在代码、上下文对话基础能力上排名国内第一，各项能力较为均衡，位于国内大模型第一梯队，适合应用于金融、医疗、汽车等垂直专业场景及代码生成与纠错等场景。 AndesGPT（OPPO）：在语言理解与抽取、角色扮演能力上排名国内前一，在代码、生成与创作、上下文对话能力上排名国内前三，各项能力较为均衡，聚焦在移动设备端的应用。 百川智能的 Baichuan213BChat：是中文开源模型的主导力量，在中文上表现优于国外开源模型。 在 SuperCLUE 测评中，国外模型的平均成绩为 69.42 分，国内模型平均成绩为 65.95 分，差距在 4 分左右，但国内外的平均水平差距在缩小。另外，国内开源模型在中文上表现要好于国外开源模型。

智谱·AI 的开源模型包括以下部分： 其他模型： WebGLM10B：利用百亿参数通用语言模型（GLM）提供高效、经济的网络增强型问题解答系统，旨在通过将网络搜索和检索功能集成到预训练的语言模型中，改进现实世界的应用部署。 WebGLM2B MathGLM2B：在训练数据充足的情况下，20 亿参数的 MathGLM 模型能够准确地执行多位算术运算，准确率几乎可以达到 100%，其结果显著超越最强大语言模型 GPT4 在相同测试数据上 18.84%的准确率。 MathGLM500M MathGLM100M MathGLM10M MathGLMLarge：采用 GLM 的不同变体作为骨干来训练 MathGLM，包括具有 335M 参数的 GLMlarge 和 GLM10B。此外，还使用 ChatGLM6B 和 ChatGLM26B 作为基座模型来训练 MathGLM。这些骨干模型赋予 MathGLM 基本的语言理解能力，使其能够有效理解数学应用题中包含的语言信息。 多模态模型： CogAgent18B：基于 CogVLM17B 改进的开源视觉语言模型。CogAgent18B 拥有 110 亿视觉参数和 70 亿语言参数，支持 11201120 分辨率的图像理解，在 CogVLM 功能的基础上，具备 GUI 图像的 Agent 能力。 CogVLM17B：强大的开源视觉语言模型（VLM）。基于对视觉和语言信息之间融合的理解，CogVLM 可以在不牺牲任何 NLP 任务性能的情况下，实现视觉语言特征的深度融合。 Visualglm6B：一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM6B，具有 62 亿参数；图像部分通过训练 BLIP2Qformer 构建起视觉模型与语言模型的桥梁，整体模型共 78 亿参数。 部署和训练自己的 AI 开源模型的主要步骤如下： 1. 选择合适的部署方式，包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身的资源、安全和性能需求选择合适的部署方式。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，可以使用开源的预训练模型如 BERT、GPT 等作为基础，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 总的来说，部署和训练自己的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。