提示词常见的结构包括以下几种： 1. 视频模型 Vidu 的提示词结构： 基本构成：主体/场景——场景描述——环境描述——艺术风格/媒介。需调整句式和语序，避免主体物过多/复杂、分散的句式描述，避免模糊术语表达，使用流畅准确的口语化措辞，避免过度文学化叙述，丰富、准确和完整的描述以生成特定艺术风格、满足需求的视频。 与画面联想程度的说明：以单帧图像为例，通过具体详实的位置描述/环境描述进行构图，帮助构建画面基本呈现效果；通过艺术风格描述进一步提升效果和氛围，统一画面风格。 2. DALL·E 自动优化提示词结构： 提示词生成指南：强调使用精确、视觉化的描述而非难以捉摸的概念，清晰明确的指示有助于生成高质量图像。 提示词结构：是一个包括媒介、主题、背景、风格特点等多个元素的模板。媒介指定图像应模仿的艺术形式；主题是图像焦点，包括颜色、姿势和视角等；背景描述主题与环境的关系，包括时间、光线方向等；风格特点包括图像的独特艺术特点。还提供了生成图像和提出新想法的具体步骤和要求，默认设置除非另有说明会使用默认宽高比和风格，同时提醒避免使用违反服务条款的词语或概念。 3. Runway 提示词结构： 基本提示：纯文本提示遵循清晰结构，将相机运动、场景和主题的细节划分为单独部分时最有效。非纯文本提示为图片+基本提示词结构，使用输入图像时应专注描述希望在输出中看到的动作，而非图像内容。

单轮对话与多轮对话调用： 聊天模型通过一串聊天对话作为输入，并返回一个模型生成的消息作为输出。尽管聊天格式的设计是为了多轮对话更简单，但它对于没有任何对话的单轮任务同样有用（例如以前由 textdavinci003 等指令遵循模型提供的任务）。 API 调用的例子中，messages 参数是主要的输入，必须是一个消息对象的数组，每个对象拥有一个 role（“system”“user”或“assistant”）和 content（消息的内容）。会话可以少至 1 条消息或者有许多条。通常，会话首先使用系统消息格式化，然后交替使用用户消息和助手消息。系统消息有助于设定助手的行为，用户消息帮助指示助手，助手消息用于存储之前的响应。当用户的指令是关于之前的消息时，包含聊天历史记录将有所帮助。如果会话包含的 token 超出了模型的限制，则需要用一些方法去缩减会话。 百炼相关 Q&A： 如何调用工作流？在提示词写了让大模型调用 xxx 工作流，但实际总是不调用。文档里也没有写调用方式。 如何把开始节点的输入参数直接接入到代码节点中进行处理？ 千问模型基本不能处理标点符号，在提示词中各种要求句尾不要有句号，可仍旧有。甚至在工作流中用代码去掉后，回到应用中又给加上了标点符号。同样的提示词，放在扣子中就可以去掉标点符号。 记得第一天提到，规定模型不能用搜索和投喂输出文本。比赛是不是只限在提示词调试的范围内呢？ 为什么同样的问题，给出的答案区别这么大？接的就是同一个应用，这个问题很早就预测过了，同一个模型。 无论 prompt 怎么变，模型生成完内容后，自动被“不生成任何的标点符号”所替换。这个情况在 max。 COW 调用百炼应用如何支持多轮对话么？

对于新人学习 AI，以下是一些建议： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，如图像、音乐、视频等，可根据兴趣选择特定模块深入学习，同时一定要掌握提示词的技巧。 4. 实践和尝试： 理论学习后，实践是巩固知识的关键，尝试使用各种产品做出作品。 在知识库中有很多实践后的作品、文章分享，欢迎实践后进行分享。 5. 体验 AI 产品： 与现有的 AI 产品如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人进行互动，了解其工作原理和交互方式，获得对 AI 在实际应用中表现的第一手体验，并激发对 AI 潜力的认识。 6. 持续学习和跟进： AI 是快速发展的领域，新的研究成果和技术不断涌现。关注 AI 领域的新闻、博客、论坛和社交媒体，保持对最新发展的了解。 考虑加入 AI 相关的社群和组织，参加研讨会、工作坊和会议，与其他 AI 爱好者和专业人士交流。 记住，学习 AI 是一个长期的过程，需要耐心和持续的努力。不要害怕犯错，每个挑战都是成长的机会。随着时间的推移，您将逐渐建立起自己的 AI 知识体系，并能够在这一领域取得成就。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法，设计自己的学习路径。

要养成自己的 AI，可以参考以下步骤： 1. 工作流程方面： 先拆解工作流程，梳理每个步骤的输入输出及相互关系。 思考哪些环节可引入 AI 工具提效，一切从业务逻辑出发，AI 是锦上添花，不能本末倒置。 搭建选题库，明确公众号定位（可用 AI 辅助分析目标受众），找对标账号和爆款文章，建微信群及时记录好选题，定期整理到飞书文档的选题库。 写作环节，拆解对标文章，提炼写作技巧（可用 AI 辅助），结合自身特色列出写作大纲，使用 AI 优化大纲、查找资料、润色文章，但核心内容要自己写，不能过度依赖 AI。 起标题与配图，用 AI 辅助批量生成标题再自己修改优化，评估标题吸引力，让 AI 分析文章提供配图建议，去免费图库搜索配图。 排版与发布，飞书撰写>迅捷 Markdown 中转>Markdown 排版工具预览>粘贴到公众号后台，注意管理飞书图片使用期限，必要时可用 AI 辅助排版。 养成习惯与总结，做每件事前思考 AI 能提供的帮助，把整套流程实践几次形成肌肉记忆，不断打磨完善属于自己的 AI 工作流，警惕过度依赖，AI 只是辅助，核心能力要靠自己。 2. 自我提升方面： 利用大语言模型加速认知提升，让生物大脑和机器智能一同进化，留出更多时间做高阶思维锻炼，如计划、评估、决策、抽象和创造，培养达到更高理解水平所需的直觉。 学会提问，未来教育应侧重于如何提出有价值的问题，好的思考带来好的问题，批判性思维和好奇心是思考的前提，也是人类文明向前的动力。 学会广泛而深入地思考，吸收各种知识和思维模式，重点培养结构化思维，将复杂问题分解成更小、更易管理的部分，通过逻辑和有条理的步骤解决，从而达到解决整体问题的目的。 利用自然语言表达和整理思维，形成清晰的“人类级别”叙述。 3. 新手学习 AI 方面： 了解 AI 基本概念，阅读「」部分，熟悉术语和基础概念，了解其主要分支及联系，浏览入门文章。 开始 AI 学习之旅，在「」中找到为初学者设计的课程，推荐李宏毅老师的课程，通过在线教育平台按自己节奏学习，有机会获得证书。 选择感兴趣的模块深入学习，如掌握提示词技巧。 实践和尝试，理论学习后通过实践巩固知识，尝试使用各种产品做出作品，在知识库分享实践成果。 体验 AI 产品，与 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人互动，了解工作原理和交互方式。

以下是通过 API 调用大模型的相关步骤： 1. 创建大模型问答应用： 进入百炼控制台的，在页面右侧点击新增应用。在对话框，选择智能体应用并创建。 在应用设置页面，模型选择通义千问Plus，其他参数保持默认。您也可以选择输入一些 Prompt，比如设置一些人设以引导大模型更好的应对客户咨询。 在页面右侧可以提问验证模型效果。不过您会发现，目前它还无法准确回答你们公司的商品信息。点击右上角的发布。 2. 获取调用 API 所需的凭证： 在我的应用>应用列表中可以查看所有百炼应用 ID。保存应用 ID 到本地用于后续配置。 在顶部导航栏右侧，点击人型图标，点击 APIKEY 进入我的 APIKEY 页面。在页面右侧，点击创建我的 APIKEY，在弹出窗口中创建一个新 APIKEY。保存 APIKEY 到本地用于后续配置。 3. 直接调用大模型（之前完成过 coze 对接的同学，直接去二、百炼应用的调用）： 百炼首页：https://bailian.console.aliyun.com/ 当在 COW 中直接调用千问的某一个大模型时，只需要更改 key 和 model 即可。以调用“qwenmax”模型为例，在/root/chatgptonwechat/文件夹下，打开 config.json 文件：需要更改"model"，和添加"dashscope_api_key"。 获取 key 的视频教程： 图文教程：以下是参考配置。 注意：需要“实名认证”后，这些 key 才可以正常使用，如果对话出现“Access to mode denied.Please make sure you are eligible for using the model.”的报错，那说明您没有实名认证，点击去，或查看自己是否已认证。 4. 本地部署教学（node.js）小白推荐： 申请大模型的 API 接口： silicon 硅基接口：官方提供的接入 API 的教学文档。以平时使用的 silicon 接口为例，有众多开源模型（Yi、Qwen、Llama、Gemma 等）免费使用。另赠送 14 元体验金，有效期未知，是个人认为 API 接口最方便最实惠的接口了。silicon 注册和使用地址：邀请码：ESTKPm3J（谢谢支持）。注册登录后，单击左边栏的 API 密钥，单击新建 API 密钥。单击密钥即可完成 API 密钥的复制。silicon 支持多种大模型，也支持文生图、图生图、文生视频，可自行探索。这一步得到 silicon 的密钥即可，我们可以调用千问 2.5 的这个模型，满足日常对话完全没有问题，并且是免费调用的。 智普 GLM4 接口：正在 BigModel.cn 上用智谱 API 打造新一代应用服务，通过专属邀请链接注册即可获得额外 GLM4Air 2000 万 Tokens 好友专属福利，期待和您一起在 BigModel 上探索 AGI 时代的应用；链接：https://www.bigmodel.cn/invite?icode=xxcbnybpRLOsZGMNOkqaLnHEaazDlIZGj9HxftzTbt4%3D。进入个人中心，先完成实名认证，再单击左边栏 API KEYS 或右上角的 API 密钥，进入后单击右上角的添加 API，鼠标移至密钥上方，单击复制即可得到智普的 APIkey。这一步做的是注册 silicon 和智普 GLM 的大模型账号，申请 API 密钥，保存密钥，等下配置需要填写。密钥一定要保管好不能公开，否则后果很严重。

以下是关于模型的部署和容器化的相关内容： ComfyUI ollama 本地大模型部署： 1. 先下载 ollama 安装，安装完成后可在电脑桌面右下角或隐藏图标中找到。 2. 下载对应的模型，选择模型并复制对应的命令。 3. 打开命令行界面，输入对应的模型获取命令，等待下载完成。 4. 下载的模型会保存到 D:\\ollama\\blobs 目录。 5. Docker 安装时会下载一些文件，安装后更改目录，不要放在 C 盘。 6. Open webui 安装，输入相关命令，安装成功后回到 docker，点击会自动打开网页，第一次使用需注册账号，选择下载好的模型即可开始使用。 7. 若出现端口占用问题，运行特定两条命令可解决。 8. 相关链接： comfyuiollama：https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama：https://ollama.com/ docker：https://www.docker.com/ Open webui：https://openwebui.com/ 模型部署： 1. 选择学习路径： 快速上手 使用 Anaconda： 前提条件：确保安装了 Python 3.10 以上版本。 准备环境：如需设置环境，安装所需软件包，运行特定命令。 下载模型：可从下载 Atom7BChat 模型。 进行推理：创建名为 quick_start.py 的文件，复制相关内容并运行代码。 快速上手 使用 Docker：详情参见，包括准备 docker 镜像，通过 docker 容器启动，通过 dockercompose 启动 chat_gradio。 快速上手 使用 llama.cpp：详情参见。 快速上手 使用 gradio：基于 gradio 搭建问答界面，实现流式输出，复制相关代码到控制台运行，不同模型修改 model_name_or_path 对应的模型名称。 ComfyUI FLUX： 1. 模型的安装部署： 模型：FLUX.1、FLUX.1，建议选择 dev 版本，显卡可以的用 fp16，显卡不够用的选 fp8。模型下载后放入 ComfyUI/models/unet/文件夹中。若爆显存，“UNET 加载器”节点中的 weight_dtype 可设置为 fp8 降低显存使用量，但可能稍降质量。 clip：t5xxl_fp16.safetensors 和 clip_l.safetensors 放在 ComfyUI/models/clip/文件夹里，也可用 t5xxl_fp8_e4m3fn.safetensors 降低内存使用率，有超过 32GB 内存建议用 fp16。 Vae：下载后放入 ComfyUI/models/vae 文件夹。 2. T5（/t5xxl_fp16.safetensors）的这个 clip 原本有输入输出，可能会导致提示词被吞，短提示效果差，训练 flux 或 sd3 时应尽量用长提示词或自然语言。

以下是关于开源模型与闭源模型调用的相关信息： 1. 通义千问自 2023 年 8 月起密集推出 Qwen、Qwen1.5、Qwen2 三代开源模型，Qwen 系列的 72B、110B 模型多次登顶 HuggingFace 的 Open LLM Leaderboard 开源模型榜单。Qwen2 系列已上线魔搭社区 ModelScope 和阿里云百炼平台，开发者可在魔搭社区体验、下载模型，或通过阿里云百炼平台调用模型 API。同时，Qwen272binstruct 模型已上线中国大语言模型评测竞技场 Compass Arena，所有人都可登录体验其性能或进行对比测评，测评地址为。Compass Arena 集齐了国内主流的 20 多款大模型，用户可在平台选择大模型的两两“对战”。 2. 部分声称性能卓越的中国大模型被揭露为“套壳”产品，如李开复创办的“零一万物”被国外开发者质疑为“套壳”产品，其团队承认在训练过程中沿用了开源架构，但坚称发布的模型从零开始训练并进行了大量原创优化和突破。此外，字节跳动被曝出在其秘密研发的大模型项目中调用了 OpenAI 的 API，并使用 ChatGPT 的输出数据来训练自己的模型，此行为触犯了 OpenAI 使用协议中禁止的条款。 3. 在 LLM 应用程序中，OpenAI 已成为语言模型领域领导者，开发者通常使用 OpenAI API 启动新的 LLM 应用，如 gpt4 或 gpt432k 模型。项目投入生产并规模化时，有更多选择，如切换到 gpt3.5turbo，其比 GPT4 便宜约 50 倍且速度更快；与其他专有供应商如 Anthropic 的 Claude 模型进行实验；将一些请求分流到开源模型，这通常与微调开源基础模型结合更有意义。开源模型有多种推理选项，包括 Hugging Face 和 Replicate 的简单 API 接口、主要云提供商的原始计算资源等。

以下是关于 RAG、Agent 与小模型的相关知识： RAG（RetrievalAugmented Generation，检索增强生成）： 大语言模型存在输出结果不可预测、知识有局限性、幻觉问题和数据安全性等问题，RAG 是解决这些问题的有效方案。 它能让大模型从权威的、预先确定的知识来源中检索和组织相关信息，更好地控制文本输出，用户也能了解生成结果的过程。 RAG 类似于为模型提供教科书，适用于回答特定询问或解决特定信息检索任务，但不适合教模型理解广泛领域或学习新语言、格式或样式。 RAG 可与微调结合使用，两者不冲突。微调类似于让学生内化知识，适用于模型需要复制特定结构、样式或格式的情况。 Agent（智能体）： 是大模型的一个主要发展方向。 中间的“智能体”通常是 LLM（大语言模型）。 为 LLM 增加了工具、记忆、行动、规划四个能力。 目前行业里主要用到的是 langchain 框架，它把 LLM 和 LLM 之间以及 LLM 和工具之间通过代码或 prompt 的形式进行串接。 比如长期记忆是给大模型一个数据库工具记录重要信息，规划和行动是在大模型的 prompt 层做逻辑，让其将目标拆解并输出固定格式指令给工具。 小模型：文中未提及小模型的相关具体内容。

大模型的结构主要包括以下几个部分： 1. 基础层：为大模型提供硬件支撑和数据支持，例如 A100、数据服务器等。 2. 数据层：企业根据自身特性维护的垂域数据，分为静态的知识库和动态的三方数据集。 3. 模型层：包括 LLm（大语言模型，如 GPT，一般使用 transformer 算法实现）和多模态模型（如文生图、图生图等模型，训练所用数据为图文或声音等多模态数据集）。 4. 平台层：模型与应用间的平台部分，如大模型的评测体系或 langchain 平台等。 5. 表现层：也就是应用层，是用户实际看到的地方。 在大模型的运作方面，对于核心的模型层（LLm 和多模态），其原理如下： Encoderonly 模型通常适用于自然语言理解任务，如分类和情感分析，代表模型是 BERT。 Encoderdecoder 模型同时结合了 Transformer 架构的 encoder 和 decoder 来理解和生成内容，用例包括翻译和摘要，代表是 google 的 T5。 Decoderonly 模型更擅长自然语言生成任务，如故事写作和博客生成，众多熟知的 AI 助手基本采用此结构。 大模型的特点在于： 预训练数据非常大，往往来自互联网上的论文、代码、公开网页等，最先进的大模型一般用 TB 级别的数据进行预训练。 参数非常多，如 Open 在 2020 年发布的 GPT3 就已达到 170B 的参数。

大模型主要分为以下两类： 1. 大型语言模型：专注于处理和生成文本信息，主要应用于自然语言处理任务，如文本翻译、文本生成、情感分析等。 2. 大型多模态模型：能够处理包括文本、图片、音频等多种类型的信息，可以应用于更广泛的领域，例如图像识别与描述、视频分析、语音识别与生成等。 大型多模态模型与大型语言模型的不同点包括： 1. 处理的信息类型不同：大型语言模型专注于文本信息，大型多模态模型能处理多种类型信息。 2. 应用场景不同：大型语言模型主要用于自然语言处理任务，大型多模态模型应用领域更广泛。 3. 数据需求不同：大型语言模型主要依赖大量文本数据训练，大型多模态模型需要多种类型数据训练。 对于聊天大模型的深度用户，把同一个问题让不同的大模型解答是高频操作，主要适用于以下场景： 1. 对回答的精准性、全面性要求较高的问题，因为不同大模型在解决不同问题时各有优劣。 2. 需要多方交叉验证，规避模型幻觉的客观事实类问题。 常用的模型网站有： 1. 2. 3. 4. 5. 下载模型后需要将之放置在指定的目录下，不同类型的模型放置目录不同： 1. 大模型（Ckpt）：放入 models\\Stablediffusion 2. VAE 模型：一些大模型需要配合 vae 使用，对应的 vae 同样放置在 models\\Stablediffusion 或 models\\VAE 目录，然后在 webui 的设置栏目选择。 3. Lora/LoHA/LoCon 模型：放入 extensions\\sdwebuiadditionalnetworks\\models\\lora，也可以在 models/Lora 目录 4. Embedding 模型：放入 embeddings 目录 模型的类型可以通过检测。