Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

AI 测试

Answer

以下是关于 AI 测试的相关内容：

  • 如何让 AI 写出想要的代码：
    • 把项目中影响 AI 输出方向的“规矩”写下来，按照项目需求优化内容和结构。关键部分包括：先说清楚自己是谁，告诉 AI 要干什么，定好项目的“规矩”，明确文件放哪，指定用什么“工具”，告诉 AI 怎么做测试，推荐参考资料，若项目涉及画页面补充 UI 要求。
  • AI 生成测试用例的方法和工具：
    • 基于规则的测试生成：
      • 测试用例生成工具：Randoop 适用于 Java 应用程序，Pex 适用于.NET 应用。
      • 模式识别：Clang Static Analyzer 利用静态分析技术，Infer 帮助发现和修复潜在错误。
    • 基于机器学习的测试生成：
      • 深度学习模型：DeepTest 模拟驾驶场景，DiffTest 检测系统脆弱性。
      • 强化学习：RLTest 提高测试效率和覆盖率，A3C 生成高质量测试用例。
    • 基于自然语言处理（NLP）的测试生成：
      • 文档驱动测试生成：Testim 减少人工编写时间，Test.ai 确保测试覆盖业务需求。
      • 自动化测试脚本生成：Selenium IDE+NLP 从自然语言描述生成自动化测试脚本，Cucumber 通过解析自然语言描述生成测试用例。
  • 图灵测试游戏：游戏参与者有人类和 AI，通过互相提问和答题协助裁判判断身份，初始人类和 AI 各有 3 点生命值，被认为更像 AI 的一方扣 1 点生命值，生命值为 0 时游戏结束。加入辩论环节，可反驳裁判初步判断。游戏已在 coze 上开发，国内版和国外版的链接分别为：https://www.coze.cn/store/bot/7385133465957695527?panel=1&bid=6d1hinn9k801 、https://www.coze.com/store/bot/7386987271570079752?panel=1&bid=6d1hko81s9g07 ，国外平台昨天开始收费，已从 32k 降级为 8k 。
Content generated by AI large model, please carefully verify (powered by aily)

References

怎么让 AI 写出你想要的代码？.cursorrules 一招制胜

记得我刚开始写.cursorrules时，完全不知道该写什么。经过一段时间的摸索，发现其实就是把项目中影响AI输出方向的"规矩"写下来。上面截图是一张相对全面的.cursorrules写法。我们也可以按照自己的项目需求来优化里面的内容和结构。来看看几个关键部分：一）先说清楚你是谁这就像你找了个技术大牛来帮你，先告诉他"你期待他是什么样的人，拥有什么专业技能"。这样AI就会按照专家的水准来思考和coding。案例：二）告诉AI你要干什么这相当于项目启动前的需求对齐。你告诉AI："我们这个项目要做成什么样"。AI就会始终围绕这些目标来写代码。案例：三）定好项目的"规矩"这是在强调团队的代码规范。统一的代码风格不仅看着舒服，维护起来也更容易。AI会严格按照这些规范来写代码。案例：四）明确文件放哪就像整理房间要分区一样，代码也需要规划好"位置"。这样AI生成的代码就不会乱放，后期找起来也方便。案例：五）指定用什么"工具"提前说好用什么框架和库，AI就不会随便引入其他依赖，保证项目的整洁和统一。案例：六）告诉AI怎么做测试这就像做菜要试味道一样，写代码也要测试。提前告诉AI测试的标准，它生成的代码就会考虑到可测试性，也会主动帮你写测试用例。案例：七）推荐参考资料这相当于给AI一个"学习资料"，它会基于这些最佳实践来写代码，避免一些常见的坑。案例：八）UI的要求是什么最开始的案例中不涉及到任何页面的开发。如果咱们的项目需要画页面，可以补充下UI的要求。案例：

问：AI 做测试用例

AI生成测试用例是一项非常有价值的功能，可以显著提高测试覆盖率、减少人工编写测试用例的时间和成本。以下是一些具体方法和工具，展示AI如何生成测试用例：[heading3]1.基于规则的测试生成[heading4]a.测试用例生成工具[content]Randoop：基于代码路径和规则生成测试用例，适用于Java应用程序。Pex：微软开发的智能测试生成工具，自动生成高覆盖率的单元测试，适用于.NET应用。[heading4]b.模式识别[content]Clang Static Analyzer：利用静态分析技术识别代码模式和潜在缺陷，生成相应的测试用例。Infer：Facebook开发的静态分析工具，自动生成测试用例，帮助发现和修复潜在错误。[heading3]2.基于机器学习的测试生成[heading4]a.深度学习模型[content]DeepTest：利用深度学习模型生成自动驾驶系统的测试用例，模拟不同驾驶场景，评估系统性能。DiffTest：基于对抗生成网络（GAN）生成测试用例，检测系统的脆弱性。[heading4]b.强化学习[content]RLTest：利用强化学习生成测试用例，通过与环境交互学习最优测试策略，提高测试效率和覆盖率。A3C：基于强化学习的测试生成工具，通过策略梯度方法生成高质量测试用例。[heading3]3.基于自然语言处理（NLP）的测试生成[heading4]a.文档驱动测试生成[content]Testim：AI驱动的测试平台，通过分析文档和用户故事自动生成测试用例，减少人工编写时间。Test.ai：利用NLP技术从需求文档中提取测试用例，确保测试覆盖业务需求。[heading4]b.自动化测试脚本生成[content]Selenium IDE+NLP：结合NLP技术扩展Selenium IDE，从自然语言描述中生成自动化测试脚本。Cucumber：使用Gherkin语言编写的行为驱动开发（BDD）框架，通过解析自然语言描述生成测试用例。

我们居然开发出了图灵测试游戏！

游戏参与者鱼龙混杂，既有人类也有AI，玩家将通过与其他参与者（AI）的互相提问和答题的方式来协助裁判断身份。初始时人类和AI各有3点生命值，每轮比赛中被裁判认为更像AI的一方将扣除1点生命值，生命值为0时游戏结束。玩家的胜场会被记录，胜利最多的将拥有AI冠名权（其他用户AI对手的名称由你指定）！>>对话过程：此外，为了让游戏更有趣、更具挑战性，我们加入了辩论?环节，使人类和AI都有机会反驳裁判（大模型）的初步判断。世界本就是一个巨大的擂台，谁说不是呢？辩论过程：想法完成，我们就开始在coze上着手开发，功夫不负有心人，还真给鼓捣出来了国内版(AI魔法来自豆包function call)：[https://www.coze.cn/store/bot/7385133465957695527?panel=1&bid=6d1hinn9k801](https://www.coze.cn/store/bot/7385133465957695527?panel=1&bid=6d1hinn9k8017)[7](https://www.coze.cn/store/bot/7385133465957695527?panel=1&bid=6d1hinn9k8017)国外?版(AI魔法来自GPT-4o-32k)：[https://www.coze.com/store/bot/7386987271570079752?panel=1&bid=6d1hko81s9g07](https://www.coze.com/store/bot/7386987271570079752?panel=1&bid=6d1hko81s9g07)⚠️国外平台昨天开始收费，已经从32k降级为8k

Others are asking
如何让企业微信可以接上 AI？让我的企业微信号变成一个 AI 客服
要让企业微信接上 AI 并变成一个 AI 客服，可以参考以下内容： 1. 基于 COW 框架的 ChatBot 实现方案：这是一个基于大模型搭建的 Chat 机器人框架，可以将多模型塞进微信（包括企业微信）里。张梦飞同学写了更适合小白的使用教程，链接为： 。 可以实现打造属于自己的 ChatBot，包括文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等功能，以及常用开源插件的安装应用。 正式开始前需要知道：本实现思路需要接入大模型 API 的方式实现（API 单独付费）。 风险与注意事项：微信端因为是非常规使用，会有封号危险，不建议主力微信号接入；只探讨操作步骤，请依法合规使用，大模型生成的内容注意甄别，确保所有操作均符合相关法律法规的要求，禁止将此操作用于任何非法目的，处理敏感或个人隐私数据时注意脱敏，以防任何可能的滥用或泄露。 支持多平台接入，如微信、企业微信、公众号、飞书、钉钉等；多模型选择，如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等等；多消息类型支持，能处理文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能；多部署方法，如本地运行、服务器运行、Docker 的方式。 2. DIN 配置：先配置 FastGpt、OneAPI，装上 AI 的大脑后，可体验知识库功能并与 AI 对话。新建应用，在知识库菜单新建知识库，上传文件或写入信息，最后将拥有知识库能力的 AI 助手接入微信。
2025-05-09
围棋AI
围棋 AI 领域具有重要的研究价值和突破。在古老的围棋游戏中，AI 面临着巨大挑战，如搜索空间大、棋面评估难等。DeepMind 团队通过提出全新方法，利用价值网络评估棋面优劣，策略网络选择最佳落子，且两个网络以人类高手对弈和 AI 自我博弈数据为基础训练，达到蒙特卡洛树搜索水平，并将其与蒙特卡洛树搜索有机结合，取得了前所未有的突破。在复杂领域 AI 第一次战胜人类的神来之笔 37 步，也预示着在其他复杂领域 AI 与人类智能对比的进一步突破可能。此外，神经网络在处理未知规则方面具有优势，虽然传统方法在处理象棋问题上可行，但对于围棋则困难重重，而神经网络专门应对此类未知规则情况。关于这部分内容，推荐阅读《这就是 ChatGPT》一书，其作者备受推崇，美团技术学院院长刘江老师的导读序也有助于了解 AI 和大语言模型计算路线的发展。
2025-05-08
什么AI工具可以实现提取多个指定网页的更新内容
以下 AI 工具可以实现提取多个指定网页的更新内容： 1. Coze：支持自动采集和手动采集两种方式。自动采集包括从单个页面或批量从指定网站中导入内容，可选择是否自动更新指定页面的内容及更新频率。批量添加网页内容时，输入要批量添加的网页内容的根地址或 sitemap 地址然后单击导入。手动采集需要先安装浏览器扩展程序，标注要采集的内容，内容上传成功率高。 2. AI Share Card：能够一键解析各类网页内容，生成推荐文案，把分享链接转换为精美的二维码分享卡。通过用户浏览器，以浏览器插件形式本地提取网页内容。
2025-05-01
AI文生视频
以下是关于文字生成视频（文生视频）的相关信息： 一些提供文生视频功能的产品： Pika：擅长动画制作，支持视频编辑。 SVD：Stable Diffusion 的插件，可在图片基础上生成视频。 Runway：老牌工具，提供实时涂抹修改视频功能，但收费。 Kaiber：视频转视频 AI，能将原视频转换成各种风格。 Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 更多相关网站可查看：https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤（以梦 AI 为例）： 进入平台：打开梦 AI 网站并登录，新用户有积分可免费体验。 输入提示词：涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成：确认提示词无误后，选择模型、画面比例，点击「生成」按钮。 预览与下载：生成完毕后预览视频，满意则下载保存，不理想可调整提示词再试。 视频模型 Sora：OpenAI 发布的首款文生视频模型，能根据文字指令创造逼真且充满想象力的场景，可生成长达 1 分钟的一镜到底超长视频，视频中的人物和镜头具有惊人的一致性和稳定性。
2025-04-20
学AI上钉钉
以下是在钉钉上学 AI 的相关内容： 从 AI 助教到智慧学伴的应用探索： 登录钉钉客户端，在右上角依次选择钉钉魔法棒、AI 助理、创建 AI 助理。进入创建 AI 助理页面后，填写 AI 助理信息，设置完成即可创建成功。 AI 领导力向阳乔木：未提及具体的在钉钉上学 AI 的操作方法。 基于 COW 框架的 ChatBot 实现步骤： 创建应用： 进入，登录后点击创建应用，填写应用相关信息。 点击添加应用能力，选择“机器人”能力并添加。 配置机器人信息后点击发布，发布后点击“点击调试”，会自动创建测试群聊，可在客户端查看。点击版本管理与发布，创建新版本发布。 项目配置： 点击凭证与基础信息，获取 Client ID 和 Client Secret 两个参数。 参考项目，将相关配置加入项目根目录的 config.json 文件，并设置 channel_type:"dingtalk"，注意运行前需安装依赖。 点击事件订阅，点击已完成接入，验证连接通道，会显示连接接入成功。 使用：与机器人私聊或将机器人拉入企业群中均可开启对话。
2025-04-19
AI术语解释
以下是一些常见的 AI 术语解释： Agents（智能体）：一个设置了一些目标或任务，可以迭代运行的大型语言模型。与大型语言模型在像 ChatGPT 这样的工具中的通常使用方式不同，Agent 拥有复杂的工作流程，模型本质上可以自我对话，无需人类驱动每一部分的交互。属于技术范畴。 ASI（人工超级智能）：尽管存在争议，但通常被定义为超越人类思维能力的人工智能。属于通识范畴。 Attention（注意力）：在神经网络的上下文中，有助于模型在生成输出时专注于输入的相关部分。属于技术范畴。 Bias（偏差）：AI 模型对数据所做的假设。“偏差方差权衡”是模型对数据的假设与给定不同训练数据的模型预测变化量之间必须实现的平衡。归纳偏差是机器学习算法对数据的基础分布所做的一组假设。属于技术范畴。 Chatbot（聊天机器人）：一种计算机程序，旨在通过文本或语音交互模拟人类对话。通常利用自然语言处理技术来理解用户输入并提供相关响应。属于通识范畴。 CLIP（对比语言图像预训练）：由 OpenAI 开发的 AI 模型，用于连接图像和文本，使其能够理解和生成图像的描述。属于技术范畴。 TPU（张量处理单元）：谷歌开发的一种微处理器，专门用于加速机器学习工作负载。属于技术范畴。 Training Data（训练数据）：用于训练机器学习模型的数据集。属于技术范畴。 Transfer Learning（迁移学习）：机器学习中的一种方法，其中对新问题使用预先训练的模型。属于技术范畴。 Validation Data（验证集）：机器学习中使用的数据集的子集，独立于训练数据集和测试数据集。用于调整模型的超参数（即架构，而不是权重）。属于技术范畴。 Knowledge Distillation（数据蒸馏）：数据蒸馏旨在将给定的一个原始的大数据集浓缩并生成一个小型数据集，使得在这一小数据集上训练出的模型，和在原数据集上训练得到的模型表现相似。在深度学习领域中被广泛应用，特别是在模型压缩和模型部署方面。可以帮助将复杂的模型转化为更轻量级的模型，并能够促进模型的迁移学习和模型集成，提高模型的鲁棒性和泛化能力。属于技术范畴。 RAG（检索增强生成）：检索增强生成。属于技术范畴。 Forward Propagation（前向传播）：在神经网络中，输入数据被馈送到网络并通过每一层（从输入层到隐藏层，最后到输出层）以产生输出的过程。网络对输入应用权重和偏差，并使用激活函数生成最终输出。属于技术范畴。 Foundation Model（基础模型）：在广泛数据上训练的大型 AI 模型，旨在适应特定任务。属于技术范畴。 GAN（通用对抗网络）：一种机器学习模型，用于生成类似于某些现有数据的新数据。使两个神经网络相互对抗：一个“生成器”，创建新数据，另一个“鉴别器”试图将数据与真实数据区分开来。属于技术范畴。 Generative AI/Gen AI（生成式 AI）：AI 的一个分支，专注于创建模型，这些模型可以根据现有数据的模式和示例生成新的原创内容，例如图像、音乐或文本。属于通识范畴。 GPU（图形处理单元）：一种特殊类型的微处理器，主要用于快速渲染图像以输出到显示器。在执行训练和运行神经网络所需的计算方面也非常高效。属于产品范畴。
2025-04-18
基于规则的测试生成： 测试用例生成工具： Randoop：基于代码路径和规则生成测试用例，适用于 Java 应用程序。这个应该怎样使用呢
很抱歉，目前没有关于 Randoop 工具使用方法的相关内容。您可以通过以下途径获取更详细的信息： 1. 官方文档：访问 Randoop 的官方网站，查找其提供的详细使用说明和教程。 2. 技术论坛：在相关的技术论坛上搜索关于 Randoop 使用的讨论和经验分享。 3. 开源社区：参与开源社区中关于 Randoop 的交流，向其他开发者请教。
2025-04-08
如何使用AI给测试进行提效
以下是关于如何使用 AI 给测试提效的详细内容： 1. 基于规则的测试生成： 测试用例生成工具： Randoop：基于代码路径和规则生成测试用例，适用于 Java 应用程序。 Pex：微软开发的智能测试生成工具，自动生成高覆盖率的单元测试，适用于.NET 应用。 模式识别： Clang Static Analyzer：利用静态分析技术识别代码模式和潜在缺陷，生成相应的测试用例。 Infer：Facebook 开发的静态分析工具，自动生成测试用例，帮助发现和修复潜在错误。 2. 基于机器学习的测试生成： 深度学习模型： DeepTest：利用深度学习模型生成自动驾驶系统的测试用例，模拟不同驾驶场景，评估系统性能。 DiffTest：基于对抗生成网络（GAN）生成测试用例，检测系统的脆弱性。 强化学习： RLTest：利用强化学习生成测试用例，通过与环境交互学习最优测试策略，提高测试效率和覆盖率。 A3C：基于强化学习的测试生成工具，通过策略梯度方法生成高质量测试用例。 3. 基于自然语言处理（NLP）的测试生成： 文档驱动测试生成： Testim：AI 驱动的测试平台，通过分析文档和用户故事自动生成测试用例，减少人工编写时间。 Test.ai：利用 NLP 技术从需求文档中提取测试用例，确保测试覆盖业务需求。 自动化测试脚本生成： Selenium IDE + NLP：结合 NLP 技术扩展 Selenium IDE，从自然语言描述中生成自动化测试脚本。 Cucumber：使用 Gherkin 语言编写的行为驱动开发（BDD）框架，通过解析自然语言描述生成测试用例。 4. 基于模型的测试生成： 状态模型： GraphWalker：基于状态模型生成测试用例，适用于复杂系统的行为测试。 Spec Explorer：微软开发的模型驱动测试工具，通过探索状态模型生成测试用例。 场景模拟： Modelbased Testing：基于系统模型自动生成测试用例，覆盖各种可能的操作场景和状态转换。 Tosca Testsuite：基于模型的测试工具，自动生成和执行测试用例，适用于复杂应用的端到端测试。 5. 实践中的应用示例： Web 应用测试：使用 Testim 分析用户行为和日志数据，自动生成高覆盖率的测试用例，检测不同浏览器和设备上的兼容性问题。 移动应用测试：利用 Test.ai 从需求文档中提取测试用例，确保覆盖关键功能和用户路径，提高测试效率和质量。 复杂系统测试：采用 GraphWalker 基于系统状态模型生成测试用例，确保覆盖所有可能的状态和操作场景，检测系统的边界情况和异常处理能力。 总结：AI 在生成测试用例方面具有显著的优势，可以自动化和智能化生成高覆盖率的测试用例，减少人工编写测试用例的时间和成本。通过合理应用 AI 工具，前端开发工程师可以提高测试效率、增强测试覆盖率和发现潜在问题，从而提升软件质量和用户体验。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-04-08
如何自动编写测试用例
AI 自动编写测试用例可以通过以下几种方式实现： 1. 基于规则的测试生成： 测试用例生成工具： Randoop：基于代码路径和规则生成测试用例，适用于 Java 应用程序。 Pex：微软开发的智能测试生成工具，自动生成高覆盖率的单元测试，适用于.NET 应用。 模式识别： Clang Static Analyzer：利用静态分析技术识别代码模式和潜在缺陷，生成相应的测试用例。 Infer：Facebook 开发的静态分析工具，自动生成测试用例，帮助发现和修复潜在错误。 2. 基于机器学习的测试生成： 深度学习模型： DeepTest：利用深度学习模型生成自动驾驶系统的测试用例，模拟不同驾驶场景，评估系统性能。 DiffTest：基于对抗生成网络（GAN）生成测试用例，检测系统的脆弱性。 强化学习： RLTest：利用强化学习生成测试用例，通过与环境交互学习最优测试策略，提高测试效率和覆盖率。 A3C：基于强化学习的测试生成工具，通过策略梯度方法生成高质量测试用例。 3. 基于自然语言处理（NLP）的测试生成： 文档驱动测试生成： Testim：AI 驱动的测试平台，通过分析文档和用户故事自动生成测试用例，减少人工编写时间。 Test.ai：利用 NLP 技术从需求文档中提取测试用例，确保测试覆盖业务需求。 自动化测试脚本生成： Selenium IDE + NLP：结合 NLP 技术扩展 Selenium IDE，从自然语言描述中生成自动化测试脚本。 Cucumber：使用 Gherkin 语言编写的行为驱动开发（BDD）框架，通过解析自然语言描述生成测试用例。 4. 基于模型的测试生成： 状态模型： GraphWalker：基于状态模型生成测试用例，适用于复杂系统的行为测试。 Spec Explorer：微软开发的模型驱动测试工具，通过探索状态模型生成测试用例。 场景模拟： Modelbased Testing ：基于系统模型自动生成测试用例，覆盖各种可能的操作场景和状态转换。 Tosca Testsuite：基于模型的测试工具，自动生成和执行测试用例，适用于复杂应用的端到端测试。 实践中的应用示例： 1. Web 应用测试：使用 Testim 分析用户行为和日志数据，自动生成高覆盖率的测试用例，检测不同浏览器和设备上的兼容性问题。 2. 移动应用测试：利用 Test.ai 从需求文档中提取测试用例，确保覆盖关键功能和用户路径，提高测试效率和质量。 3. 复杂系统测试：采用 GraphWalker 基于系统状态模型生成测试用例，确保覆盖所有可能的状态和操作场景，检测系统的边界情况和异常处理能力。 总结：AI 在生成测试用例方面具有显著的优势，可以自动化和智能化生成高覆盖率的测试用例，减少人工编写测试用例的时间和成本。通过合理应用 AI 工具，前端开发工程师可以提高测试效率、增强测试覆盖率和发现潜在问题，从而提升软件质量和用户体验。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-04-01
如何使用AI创建测试用例
AI 生成测试用例可以通过以下多种方法实现： 1. 基于规则的测试生成： 测试用例生成工具：如 Randoop（适用于 Java 应用程序）、Pex（适用于.NET 应用）。 模式识别：如 Clang Static Analyzer 利用静态分析技术识别代码模式和潜在缺陷生成相应测试用例，Infer 自动生成测试用例帮助发现和修复潜在错误。 2. 基于机器学习的测试生成： 深度学习模型：如 DeepTest 生成自动驾驶系统的测试用例，DiffTest 基于对抗生成网络（GAN）生成测试用例。 强化学习：如 RLTest 通过与环境交互学习最优测试策略，A3C 通过策略梯度方法生成高质量测试用例。 3. 基于自然语言处理（NLP）的测试生成： 文档驱动测试生成：如 Testim 通过分析文档和用户故事自动生成测试用例，Test.ai 从需求文档中提取测试用例。 自动化测试脚本生成：如 Selenium IDE 结合 NLP 技术扩展从自然语言描述中生成自动化测试脚本，Cucumber 使用 Gherkin 语言编写的行为驱动开发（BDD）框架通过解析自然语言描述生成测试用例。 4. 基于模型的测试生成： 状态模型：如 GraphWalker 基于状态模型生成测试用例，Spec Explorer 微软开发的模型驱动测试工具通过探索状态模型生成测试用例。 场景模拟：如 Modelbased Testing 基于系统模型自动生成测试用例覆盖各种可能的操作场景和状态转换，Tosca Testsuite 基于模型的测试工具自动生成和执行测试用例适用于复杂应用的端到端测试。 5. 实践中的应用示例： Web 应用测试：使用 Testim 分析用户行为和日志数据自动生成高覆盖率的测试用例检测不同浏览器和设备上的兼容性问题。 移动应用测试：利用 Test.ai 从需求文档中提取测试用例确保覆盖关键功能和用户路径提高测试效率和质量。 复杂系统测试：采用 GraphWalker 基于系统状态模型生成测试用例确保覆盖所有可能的状态和操作场景检测系统的边界情况和异常处理能力。 此外，让 AI 写出您想要的代码，可以通过创建优质的.cursorrules 来实现，具体包括： 1. 先说清楚您是谁，让 AI 按照专家的水准来思考和编码。 2. 告诉 AI 您要干什么，使其围绕目标写代码。 3. 定好项目的“规矩”，强调团队的代码规范。 4. 明确文件放置位置，便于后期查找。 5. 指定使用的“工具”，保证项目的整洁和统一。 6. 告诉 AI 怎么做测试，使其生成的代码考虑可测试性并主动写测试用例。 7. 推荐参考资料，让 AI 基于最佳实践写代码。 8. 若项目涉及页面开发，补充 UI 的要求。
2025-03-22
测试大模型工具·
以下是关于测试大模型工具的相关内容： 使用 Coze IDE 创建插件： 网页搜索工具的元数据配置说明： 名称：建议输入清晰易理解的名称，便于后续大语言模型搜索与使用工具。 描述：用于记录当前工具的用途。 启用：若工具未开发测试完成，建议先禁用；若需下线某一工具，可将其设置为禁用，或删除插件等。 输入参数：准确、清晰易理解的参数名称等信息，可让大语言模型更准确使用工具。 输出参数：准确、清晰易理解的参数名称等信息，可让大语言模型更准确使用工具。 操作步骤：在页面右侧单击测试代码图标并输入所需参数，然后单击 Run 测试工具。若在元数据设置了输入参数，可单击自动生成图标，由 IDE 生成模拟数据，调整参数值即可进行测试。 获取字节火山 DeepSeek 系列 API 完整教程及使用方法： 可使用网页聊天和测试等方式。 例如用“2024 年高考全国甲卷理科数学”压轴题测试火山引擎的 DeepSeekR1 的速度，其推理速度比官方版本快，接口延迟低，回复迅速。 无需微调，仅用提示词工程就能让 LLM 获得 tool calling 的功能： 绝大多数小型本地开源大语言模型以及部分商用大模型接口不支持稳定的 tool calling 功能，现有的微调 LLM 解决方案会浪费大量时间和算力。本文提出仅使用提示词工程和精巧的代码设计，即可让 LLM 获得稳定的 tool calling 能力，使用多个不具备该功能的 LLM 作为测试模型，在多个工具调用任务上实验成功率为 100%，基于 comfyui 开发，适合无代码基础的人员复现和修改。
2025-03-19
什么样的数据集适合测试大语言模型？
以下是一些适合测试大语言模型的数据集： Guanaco：地址为，是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集。 chatgptcorpus：地址为，开源了由 ChatGPT3.5 生成的 300 万自问自答数据，包括多个领域，可用于训练大模型。 SmileConv：地址为，数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话，含有 56k 个多轮对话，其对话主题、词汇和篇章语义更加丰富多样，更符合长程多轮对话的应用场景。 用于评估大语言模型的框架和基准有： GAOKAOBench：地址为，是以中国高考题目为数据集，测评大模型语言理解能力、逻辑推理能力的测评框架，收集了 2010 2022 年全国高考卷的题目，包括 1781 道客观题和 1030 道主观题。 AGIEval：地址为，是由微软发布的新型基准测试，选取 20 种面向普通人类考生的官方、公开、高标准往常和资格考试，包括普通大学入学考试（中国高考和美国 SAT 考试）、法学入学考试、数学竞赛、律师资格考试、国家公务员考试等。 Xiezhi：地址为，是由复旦大学发布的一个综合的、多学科的、能够自动更新的领域知识评估 Benchmark，包含 13 个学科门类，24 万道学科题目，516 个具体学科，249587 道题目。 此外，在多语言能力评测方面，还使用了以下数据集： MMMLU：来自 Okapi 的多语言常识理解数据集，在阿、德、西、法、意、荷、俄、乌、越、中这几个子集进行测试。 MGSM：包含德、英、西、法、日、俄、泰、中和孟在内的数学评测。针对人工评测，使用内部评估集比较了 Qwen272BInstruct 与 GPT3.5、GPT4 和 Claude3Opus，该评测集包括 10 种语言：ar（阿拉伯语）、es（西班牙语）、fr（法语）、ko（韩语）、th（泰语）、vi（越南语）、pt（葡萄牙语）、id（印度尼西亚语）、ja（日语）和 ru（俄语）。
2025-03-17