截至今天，大语言模型仍会产生“幻觉”。 大语言模型偶尔会根据输入输出一些荒谬或不符合事实的内容，目前各家大语言模型在该问题上的表现都不尽如人意。产生“幻觉”的原因包括： 1. 样本存在错误（Imitative Falsehoods）：如果大语言模型学习的“教材”中有错误，它也容易给出错误回答。缓解该问题的一个办法是上采样（Up Sampling）。 2. 信息过时（Outdated Factual Knowledge）：以前正确的信息现在可能过时了。 此外，大语言模型通过训练数据猜测下一个输出结果，可能因错误数据导致给出错误答案，优质数据集对其很重要。如果在其训练过程中，模型被暴露于大量知识之中，它并没有完美地记忆所见到的信息，并不十分清楚自己的知识边界，可能会尝试回答有关深奥话题的问题，并虚构听起来有道理但实际不正确的内容。 在构建应用程序时，可以使用一些技术来避免这种情况，例如要求模型先从文本中找到相关引文，然后使用引文回答问题，并将答案追溯回源文件，这通常有助于减少“幻觉”的发生。

以下是关于开源项目数字人的相关内容： 一、构建高质量的 AI 数字人 1. 构建数字人躯壳 建好的模型可以使用 web 前端页面（Live2D 就提供了 web 端的 SDK）或者 Native 的可执行程序进行部署，最后呈现在用户面前的是一个 GUI。 开源数字人项目选择了 live2d 作为数字人躯壳，因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然，相比虚幻引擎这些驱动方式又更加轻量和简单。 卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例：https://github.com/Live2D 。 2. 构建数字人灵魂 自建代码实现各模块开发工作量巨大，迭代难度高，对于个人开发者不现实。 推荐借助开源社区的力量，如 dify、fastgpt 等成熟的高质量 AI 编排框架，它们有大量开源工作者维护，集成各种主流的模型供应商、工具以及算法实现等。 在开源项目中，使用了 dify 的框架，利用其编排和可视化交互任意修改流程，构造不同的 AI Agent，并且实现相对复杂的功能，比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口，基于这两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制，从而低门槛做出自己高度定制化的数字人。具体的部署过程参考 B 站视频：https://www.bilibili.com/video/BV1kZWvesE25 。 如果有更加高度定制的模型，也可以在 Dify 中接入 XInference 等模型管理平台，然后部署自己的模型。 数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块，能够保持更好的扩展。 上述 Dify 接口使用注意事项： 必须在应用编排功能中打开文字转语音和语音转文字功能，否则接口会返回未使能的错误。 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商，才会在功能板块中展示出来，Dify 的模型供应商图标下标签有展示该供应商支持哪些功能，这里可以自行选择自己方便使用的。对于 TTS，不同的模型供应商支持的语音人物不同，可以根据个人喜好添加。 二、写在最后 数字人在未来肯定会有很多的应用场景，比如家庭中有数字人管家，全面接管智能家居或其他设备；学校中有数字人老师，孜孜不倦的为学生答疑解惑；商场里有数字人导购，为顾客提供指路、托管个人物品等悉心服务。 数字人在未来肯定还有很多的技术突破，比如可以将五感数据作为输入（例如声音、图像、气味、震动等等），将所有可以控制躯壳的参数也作为输入（例如躯壳骨骼节点，面部混合形状参数等）；次世代的算法可以自我迭代升级，也可以拿到感官输入以及躯壳控制方法后，自行演化躯壳控制方式。 作者希望通过 Dify 搭建数字人的开源项目，给大家展现低门槛高度定制数字人的基本思路，但数字人的核心还是在于我们的 Agent，也就是数字人的灵魂，怎样在 Dify 上面去编排专属自己的数字人灵魂是值得大家自己亲自体验的。真诚的希望看到，随着数字人的多模态能力接入、智能化水平升级、模型互动控制更精确，用户在需要使用 AI 的能力时，AI 既可以给你提供高质量的信息，也能关注到你的情绪，给你一个大大的微笑，也许到了那时，数字世界也开始有了温度。

以下是为您提供的网页原型图生成工具相关信息： 1. 即时设计：https://js.design/ ，是一款可在线使用的「专业 UI 设计工具」，为设计师提供更加本土化的功能和服务，相较于其他传统设计工具，更注重云端文件管理、团队协作，并将设计工具与更多平台整合，一站搞定全流程工作。 2. V0.dev：https://v0.dev/ ，Vercel Labs 推出的 AI 生成式用户界面系统。每个人都能通过文本或图像生成代码化的用户界面。它基于 Shadcn UI 和 Tailwind CSS 生成复制粘贴友好的 React 代码。 3. Wix： ，Wix 是一款用户友好的 AI 工具，可让您在没有任何编码知识的情况下轻松创建和自定义自己的网站，提供广泛的模板和设计供您选择，以及移动优化和集成电子商务功能等功能。Wix 建站工具通过拖放编辑、优秀模板和 250 多种 app，能帮助不同领域的用户创建所有种类的网站。 4. Dora：https://www.dora.run/ ，使用 Dora AI，可以通过一个 prompt，借助 AI 3D 动画，生成强大网站。支持文字转网站，生成式 3D 互动，高级 AI 动画。 此外，还有一些 AIGC 相关的动态： 1. Midjourney 憋了半年的大招 V6 模型将在下周发布，上周六开始了社区评价活动：https://www.midjourney.com/rankv6 2. Perplexity 上线了图片生成功能，搜索结果完成之后 Pro 用户可以点击右边按钮生成图片：https://www.perplexity.ai/ 3. Stability AI 推出会员服务，基础会员 20 美元，非会员无法商用他们公司的模型了。现在需要会员才能商用的模型包括 SDXL Turbo、SVD、Stable LM Zephyr 3B：https://stability.ai/membership 4. 谷歌 Deepmind 宣布了他们最先进的图像生成模型 Imagen 2：https://x.com/op7418/status/1734962114513797468?s=20 5. Visual Electric 发布了图像合成和风格创建功能：https://x.com/op7418/status/1734988753125658695?s=20 6. Chat GPT 重新开启 GPT plus 订阅：https://x.com/sama/status/1734984269586457078?s=20 7. Gemini Pro API 已经向企业和开发者开放：https://blog.google/technology/ai/geminiapideveloperscloud 8. 截图生成前端代码的 v0.dev 已经向所有用户开放：https://v0.dev/ 9. Krea 上周向所有人开放，不需要邀请了：https://x.com/krea_ai/status/1734866368489722035?s=20 10. Theverge 报道字节使用 Open AI 训练模型被发现，导致无法获得 OpenAI 相关内容的使用权限：https://www.theverge.com/2023/12/15/24003151/bytedancechinaopenaimicrosoftcompetitorllm 11. Open AI 官方推出了提示工程指南：https://platform.openai.com/docs/guides/promptengineering 在 12 月 14 日的宝玉日报中提到： 1. OpenAI o1：复杂算法与架构设计的首选，推理能力强，适合作为架构师或算法顾问。 2. Claude 3.5/Cursor：快速生成代码与网页设计，Claude 擅长长上下文任务，Cursor 适合上下文控制较好的 IDE 开发。 3. v0.dev：网页设计利器，支持设计稿生成网页。 4. Gemini：长上下文支持（2M Tokens），适合代码反编译与混淆代码分析。 5. 组合搭配：复杂任务用 o1 设计，Claude 生成代码，其他工具辅助实现网页与单元测试，效率翻倍。 详细分享博客：

以下是关于如何搭建定制知识库的相关内容： 要搭建基于 GPT API 的定制化知识库，需要给 GPT 输入定制化的知识。但 GPT3.5（即当前免费版的 ChatGPT）一次交互支持的 Token 数量有限，约 4096 个，相当于 3000 个单词或 2300 个汉字，容量对于多数领域知识不够。为处理大量领域知识，OpenAI 提供了 embedding API 解决方案，可参考 OpenAI embedding documents。 embeddings 是浮点数字的向量（列表），两个向量之间的距离衡量它们的关联性，小距离表示高关联度，大距离表示低关联度。向量是用一串数字表示大小和方向的量，在计算机科学和数据科学中通常用列表表示。向量之间的距离是度量相似性的方法，常见的如欧几里得距离。在 OpenAI 词嵌入中，靠近的向量词语在语义上相似。 LlamaIndex 是更高一层 LangChain 的抽象，之前叫 GPT Index。之前的文章中的例子使用了 LlamaIndex 包，它简化了 LangChain 对文本分割和查询的接口，并提供了更丰富的 Data Connector。LlamaIndex 只针对 GPT Model 做 Index，而 LangChain 可对接多个 LLMs，可扩展性更强。参考 https://gptindex.readthedocs.io/en/latest/ 在基于大模型+知识库的 Code Review 实践中，对于自定义知识库飞书文档（自定义），没有格式要求，能看懂正确代码即可。可直接使用 LangChain 提供的文档加载类，对有权限的飞书文档进行获取，使用 CharacterTextSplitter/RecursiveCharacterTextSplitter 将文本分割成固定长度的块（chunks），方法有两个主要参数：chunk_size 控制每个块的长度，如设置为 1024，则每个块包含 1024 个字符；chunk_overlap 控制相邻两个块之间的重叠长度，如设置为 128，则每个块会与相邻块重叠 128 个字符。 因为大模型有足够多的数据，想让大模型按要求执行就需要用到“Prompt 提示词”。 最近各家大厂接连放大招，AI 技术和应用突飞猛进，GPT4 接口已支持最大 32K 输入，AI 的开发和使用门槛会越来越低。垂直领域知识库的搭建和优化可能更多是业务问题，而非技术问题。

搭建私人知识库可以参考以下方法： 1. 基于 GPT 搭建： 给 GPT 输入（投喂）定制化的知识，但 GPT3.5（即当前免费版的 ChatGPT）一次交互（输入和输出）只支持最高 4096 个 Token，约等于 3000 个单词或 2300 个汉字，容量对于绝大多数领域知识不够。 OpenAI 提供了 embedding API 解决方案，embeddings 是一个浮点数字的向量（列表），两个向量之间的距离衡量它们的关联性，小距离表示高关联度，大距离表示低关联度。 将大文本拆分成若干个小文本块（chunk），通过 embeddings API 将小文本块转换成 embeddings 向量，在一个地方（向量储存库）中保存这些 embeddings 向量和文本块，当用户提出问题时，将问题先通过 embeddings API 转换成问题向量，然后与向量储存库的所有文本块向量比对，查找距离最小的几个向量，把这几个向量对应的文本块提取出来，与原有问题组合成为新的 prompt（问题/提示词），发送给 GPT API。 2. 本地部署大模型搭建： 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用，在进行本地知识库的搭建实操之前，需要先对 RAG 有大概的了解。 RAG 的应用包括文档加载（从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器）、文本分割（把 Documents 切分为指定大小的块）、存储（将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库）、检索（通过某种检索算法找到与输入问题相似的嵌入片）、Output（把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案）。 文本加载器就是将用户提供的文本加载到内存中，便于进行后续的处理。

很抱歉，目前没有关于“BIM 工程师如何用 AI 辅助工作”的 PPT 相关内容。但 BIM 工程师可以考虑以下几个方面利用 AI 辅助工作： 1. 利用 AI 进行建筑信息模型的自动生成和优化，提高建模效率和准确性。 2. 借助 AI 对建筑性能进行模拟和预测，例如能耗分析、结构稳定性评估等。 3. 通过 AI 实现施工进度的智能规划和监控，及时发现潜在的延误风险。 4. 运用 AI 辅助进行建筑材料和设备的选型，以达到成本控制和质量提升的目的。 您可以根据以上思路来制作 PPT。

以下是系统学习 AI 的方法： 1. 编程语言基础：从 Python、JavaScript 等编程语言开始学习，掌握编程语法、数据结构、算法等基础知识，为后续的 AI 学习奠定基础。 2. 尝试使用工具和平台：可以使用 ChatGPT、Midjourney 等 AI 生成工具，体验 AI 的应用场景。探索面向中学生的 AI 教育平台，如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习基础知识： 了解 AI 的基本概念、发展历程、主要技术（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 阅读入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 4. 参与实践项目：参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动，尝试利用 AI 技术解决生活中的实际问题，培养动手能力。 5. 关注前沿动态：关注 AI 领域的权威媒体和学者，了解 AI 技术的最新进展，思考 AI 技术对未来社会的影响，培养对 AI 的思考和判断能力。 6. 选择感兴趣的模块深入学习：AI 领域广泛，如图像、音乐、视频等，可根据兴趣选择特定模块深入学习，掌握提示词技巧。 7. 开始学习之旅： 阅读「」部分，熟悉 AI 的术语和基础概念。 在「」中找到为初学者设计的课程，特别推荐李宏毅老师的课程。通过在线教育平台（如 Coursera、edX、Udacity）上的课程按照自己的节奏学习，并有机会获得证书。 8. 实践和尝试：理论学习后进行实践，巩固知识，尝试使用各种产品做出作品。在知识库分享实践后的成果。 9. 体验 AI 产品：与 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人互动，了解其工作原理和交互方式，获得对 AI 实际应用的第一手体验。 10. 加入学习社区：如，按照新手指引入门，避免走弯路。

将小说用 AI 制作成视频的流程如下： 1. 小说内容分析：使用 AI 工具（如 ChatGPT）分析小说内容，提取关键场景、角色和情节。 2. 生成角色与场景描述：根据小说内容，使用工具（如 Stable Diffusion 或 Midjourney）生成角色和场景的视觉描述。 3. 图像生成：使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作：将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作：利用 AI 配音工具（如 Adobe Firefly）将小说文本转换为语音，添加背景音乐和音效。 6. 视频编辑与合成：使用视频编辑软件（如 Clipfly 或 VEED.IO）将图像、音频和文字合成为视频。 7. 后期处理：对生成的视频进行剪辑、添加特效和转场，以提高视频质量。 8. 审阅与调整：观看生成的视频，根据需要进行调整，比如重新编辑某些场景或调整音频。 9. 输出与分享：完成所有编辑后，输出最终视频，并在所需平台上分享。 需要注意的是，具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外，AI 工具的可用性和功能也可能会随时间而变化，建议直接访问以下工具网址获取最新信息和使用指南： 1. Stable Diffusion（SD）：一种 AI 图像生成模型，可以基于文本描述生成图像。网址：https://github.com/StabilityAI 2. Midjourney（MJ）：另一个 AI 图像生成工具，适用于创建小说中的场景和角色图像。网址：https://www.midjourney.com 3. Adobe Firefly：Adobe 的 AI 创意工具，可以生成图像和设计模板。网址：https://www.adobe.com/products/firefly.html 4. Pika AI：文本生成视频的 AI 工具，适合动画制作。网址：https://pika.art/waitlist 5. Clipfly：一站式 AI 视频生成和剪辑平台。网址：https://www.aihub.cn/tools/video/clipfly/ 6. VEED.IO：在线视频编辑工具，具有 AI 视频生成器功能。网址：https://www.veed.io/zhCN/tools/aivideo 7. 极虎漫剪：结合 Stable Diffusion 技术的小说推文视频创作提效工具。网址：https://tiger.easyartx.com/landing 8. 故事 AI 绘图：小说转视频的 AI 工具。网址：https://www.aihub.cn/tools/video/gushiai/ 在 Adobe Firefly 的 Advanced 部分，您可以使用 Seed 选项添加种子编号（https://helpx.adobe.com/firefly/generatevideo/generatevideoclips/generatevideofaq.htmlwhatisaseed），以帮助启动流程并控制 AI 创建的内容的随机性。如果使用相同的种子、提示和控制设置，则可以重新生成类似的视频剪辑。然后选择 Generate（生成）。

马斯克最新的 AI 产品包括： 1. xAI 正式发布的 LLM 以及与之搭配的聊天产品 Grok。Grok 定位为一款模仿《银河系漫游指南》的人工智能，几乎可以回答任何问题，还会向用户提建议帮其决定要问什么问题。它具有叛逆性，会拒绝回答有害问题并嘲讽提问者。其独特优势是可以通过?（Twitter）平台实时了解世界，还能回答大多数其他人工智能系统拒绝的尖锐问题。目前 Grok 还是早期测试产品，会优先向美国的 X 平台的 Premium Plus 用户提供。从已曝光的操作视频来看，在应用层面有很多体验优化，比如多任务同时生成内容、单个任务有分支功能、输出的代码支持在 VS Code 网页版编辑。此外，马斯克还提到要让特斯拉汽车的算力接入他们的 LLM 模型推理。 2. 在 2023 年 11 月 6 日的更新中，新增马斯克 xAI 的首个大模型 Grok，它通过 X 平台实时了解世界，能回答被大多数其他 AI 系统拒绝的棘手问题，仿照《银河系漫游指南》设计，可以回答几乎任何问题，甚至就如何提问给出建议，独具幽默回答模式尽量避免恶意提问，目前留下邮件可申请早期测试。

以下是一些用于生成原型的 AI 工具： 1. 即时设计（https://js.design/）：可在线使用的「专业 UI 设计工具」，为设计师提供更加本土化的功能和服务，相较于其他传统设计工具，更注重云端文件管理、团队协作，并将设计工具与更多平台整合，一站搞定全流程工作。 2. V0.dev（https://v0.dev/）：Vercel Labs 推出的 AI 生成式用户界面系统。每个人都能通过文本或图像生成代码化的用户界面。它基于 Shadcn UI 和 Tailwind CSS 生成复制粘贴友好的 React 代码。 3. Wix（https://wix.com/）：用户友好的 AI 工具，可让您在没有任何编码知识的情况下轻松创建和自定义自己的网站，提供广泛的模板和设计供您选择，以及移动优化和集成电子商务功能等功能。Wix 建站工具通过拖放编辑、优秀模板和 250 多种 app，能帮助不同领域的用户创建所有种类的网站。 4. Dora（https://www.dora.run/）：使用 Dora AI，可以通过一个 prompt，借助 AI 3D 动画，生成强大网站。支持文字转网站，生成式 3D 互动，高级 AI 动画。 目前用于产品原型设计的 AIGC 工具包括： 1. UIzard：利用 AI 技术生成用户界面的工具，可根据设计师提供的信息快速生成 UI 设计。 2. Figma：基于云的设计工具，提供自动布局和组件库，其社区开发的一些 AI 插件可用于增强设计流程。 3. Sketch：流行的矢量图形设计工具，其插件系统中的一些插件利用 AI 技术来辅助设计工作，例如自动生成设计元素等。 从 Artifacts 到 Cursor 的连续爆火，唤起了大模型的又一春。AI Native 的口号从未停止，虽然难以定义真正的 AI Native，但借助这些 AI 工具，任何人都能在短时间内将创意变为可交互的原型。当然，这些工具还不够完美，生成的代码可能需要调整，设计可能需要优化。但随着技术的不断进步，未来可能会有更多专门针对产品原型设计的 AIGC 工具出现，也许有一天，我们可以直接用自然语言描述一个完整的应用，AI 就能为我们构建出全功能的产品。