Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

测试微调模型

Answer

以下是关于测试微调模型的相关内容:

在完成微调之后,需要对结果进行测试。微调不会直接影响原有的大模型,而是生成一些文件,包括模型权重文件、配置文件、训练元数据、优化器状态等。这些文件可以和原有大模型合并并输出新的大模型。

在测试之前,先通过不合并的方式进行微调结果的验证。例如,若数据集中有问答“问:你是谁?答:家父是大理寺少卿甄远道”,当给微调后的模型指定角色“现在你要扮演皇帝身边的女人--甄嬛”,然后问模型“你是谁?”,若回答是“家父是大理寺少卿甄远道”,则认为模型微调有效果。

测试代码结果成功。之后可以将微调结果和原有大模型进行合并,然后输出新的模型,使用 webdemo 进行测试。包括切换到对应的目录、执行合并代码、生成相应文件、创建 chatBotLora.py 文件并执行代码进行本地测试、开启自定义服务等步骤,最终验收成功。

此外,当作业成功时,fine_tuned_model 字段将填充模型名称,可将此模型指定为 Completions API 的参数,并使用 Playground 向它发出请求。首次完成后,模型可能需要几分钟准备好处理请求,若超时可能是仍在加载中,几分钟后重试。可通过将模型名称作为 model 完成请求的参数传递来开始发出请求,包括 OpenAI 命令行界面、cURL、Python、Node.js 等方式。

要删除微调模型,需在组织中被指定为“所有者”。

创建微调模型时,假设已准备好训练数据。使用 OpenAI CLI 开始微调工作,需指定基本模型的名称(ada、babbage、curie 或 davinci),还可使用后缀参数自定义微调模型的名称。运行命令会上传文件、创建微调作业、流式传输事件直到作业完成,每个微调工作都从默认为 curie 的基本模型开始,模型选择会影响性能和成本。开始微调作业后,可能需要一些时间才能完成,若事件流中断可恢复。工作完成后会显示微调模型的名称,还可列出现有作业、检索作业状态或取消作业。

Content generated by AI large model, please carefully verify (powered by aily)

References

大圣:全网最适合小白的 Llama3 部署和微调教程

在完成微调之后,我们需要对微调后的结果进行测试,在测试之前,我们需要先了解两个概念微调不会直接影响原有的大模型,而是生成一些文件,让我们可以在原有大模型的基础上结合这些文件来实现微调后的能力。这些文件通常包括(这篇文章不做过多解释):模型权重文件配置文件训练元数据优化器状态微调后的文件是可以和原有大模型合并并输出新的大模型的我们先通过不合并的方式进行微调结果的验证。因为我们的数据集中有这么一个问答:问:你是谁?答:家父是大理寺少卿甄远道因此当我们给微调后的模型指定一个角色时:“现在你要扮演皇帝身边的女人--甄嬛”,然后我们问模型:你是谁?如果模型的回答是:“家父是大理寺少卿甄远道”,那我们就认为模型微调有效果!1.测试代码结果如下,成功啦!代码如下:[heading3]将微调结果合并到模型[content]既然我们已经测试了,那我们就将微调的结果和原有大模型进行合并,然后输出新的模型,使用webdemo进行测试。1.合并代码切换到对应的目录执行完成后会生成如下文件代码如下:[heading3]使用webdemo测试合并后的模型[content]OK,马上到最后一步啦,接下来我们就使用webdemo来测试一把新的模型1.创建chatBotLora.py文件,将下面的代码复制进去1.执行代码,本地测试1.开启自定义服务,验收成功啦!

微调(Fine-tuning)

当作业成功时,该fine_tuned_model字段将填充模型名称。您现在可以将此模型指定为我们的Completions API的参数,并使用Playground向它发出请求。在您的工作首次完成后,您的模型可能需要几分钟时间才能准备好处理请求。如果对您的模型的完成请求超时,可能是因为您的模型仍在加载中。如果发生这种情况,请在几分钟后重试。您可以通过将模型名称作为model完成请求的参数传递来开始发出请求:OpenAI命令行界面:cURL:Python:Node.js:您可以继续使用所有其他完成参数,如temperature等,对这些frequency_penalty请求presence_penalty进行微调模型。[heading2]删除微调模型[content]要删除微调模型,您必须在您的组织中被指定为“所有者”。OpenAI命令行界面:cURL:Python:[heading2]准备数据集[content]微调是一种强大的技术,可用于创建特定于您的用例的新模型。在微调您的模型之前,我们强烈建议您阅读以下针对您的用例的最佳实践和具体指南。

微调(Fine-tuning)

以下假设您已经按照上述说明准备了训练数据。使用OpenAI CLI开始微调工作:您从哪里BASE_MODEL开始的基本模型的名称(ada、babbage、curie或davinci)。您可以使用后缀参数自定义微调模型的名称。运行上面的命令会做几件事:1.使用文件API上传文件(或使用已经上传的文件)2.创建微调作业3.流式传输事件直到作业完成(这通常需要几分钟,但如果队列中有很多作业或您的数据集很大,则可能需要数小时)每个微调工作都从一个默认为curie的基本模型开始。模型的选择会影响模型的性能和运行微调模型的成本。您的模型可以是以下之一:ada、babbage、curie或davinci。请访问我们的定价页面,了解有关微调费率的详细信息。开始微调作业后,可能需要一些时间才能完成。在我们的系统中,您的工作可能排在其他工作之后,训练我们的模型可能需要几分钟或几小时,具体取决于模型和数据集的大小。如果事件流因任何原因中断,您可以通过运行以下命令恢复它:工作完成后,它应该显示微调模型的名称。除了创建微调作业外,您还可以列出现有作业、检索作业状态或取消作业。

Others are asking
热点的大模型微调蒸馏工具有哪些
以下是一些热点的大模型微调蒸馏工具: FLUX.1:包括 FLUX.1(可商用,为本地开发和个人使用定制,生成速度快,内存占用小,在 Apache 2.0 许可下公开提供,支持在 Replicate、fal.ai 和 Comfy UI 等平台使用,且支持用户根据自己数据集微调)。其训练参数高达 120 亿,在图像质量、提示词跟随等多方面超越流行模型,工作原理基于混合架构,结合变换器和扩散技术。 基于阿里云 PAI 平台:可复现 R1 蒸馏及蒸馏训练模型过程。部署 32b 的蒸馏模型展示效果,包括模型部署(如选中模型卡片后的操作、选择 vLLM 部署、涉及竞价系统等)、蒸馏数据获取(在本地 python 环境或 notebook gallery 建立实例执行代码获取蒸馏数据集)等。 DeepSeek:PaaS 平台支持多机分布式部署,满足推理性能要求,能一站式完成模型蒸馏。可登录 Pad 控制台通过 model gallery 进行部署,如 Deepseek R1 模型,可选择 SG 浪或 Vim 推理框架,根据资源出价部署,部署后可在模型在线服务 EAS 查看状态。还介绍了模型 API 调用、服务关停、蒸馏概念、应用场景及部署实操等。
2025-04-13
deepseek v3微调
以下是关于 Deepseek V3 微调的相关信息: 云舒文章总结卡 2.0 提示词全面支持 Deepseek V3,效果媲美 Claude3.7。V3 需要为 0324 更新的版本,DS 官网及 API 已更新,如调用其它平台 API 需要查看 DS 版本号。提示词复制链接:。横版为 1080 x 800 卡片提示词,竖版为 750 x 不限高卡片提示词。 各平台均需下载 html 文件,打开后才能查看真实效果,平台自带预览因兼容性问题无法正常展示效果。Claude 使用平台包括 Claude3.7 官网、API、Cursor,使用时需要下载为 HTML 文件打开查看效果。Deepseek 使用平台包括 Deepseek 官网、API(V3 需要为 0324 更新的版本),Deepseek 需要复制代码到 html 文件里,然后保存进行查看。 关于智能纪要,会带着大家复现模型的蒸馏和微调,并讲解相关知识。用 Deepseek RE Zero 蒸馏出带思考的数据,基于 Deepseek V3 微调,进行冷启动,再做强化学习,还从非公布模型提取微调数据,加上人类偏好,最终形成 R1。Deepseek R1 反过来蒸馏数据微调 V3,形成互相帮助的局面。 北京时间 00:30 至 08:30 期间,DeepSeek API 价格大幅下调,DeepSeekV3 降至原价的 50%。
2025-04-12
有哪些针对CoT能力的微调工具
以下是一些针对 CoT 能力的微调工具: 1. Selfconsistency CoT:使用手动设计的 Prompt 生成采样一组不同的推理路径,再通过“多数投票”找到推理步骤中“最一致”的路径,使用这条解码路径驱动原始的贪心解码方式来提示 CoT 性能。 2. MMCoT:侧重使用微调方法嵌入 CoT,通过将语言和图像合并在一个包含推理生成与答案推理的两阶段的框架中,使用微调大模型赋予输入多模态 CoT 的能力。 3. GoTInput 方法:通过对 CoT 生成的思维图进行抽取构建三元组,并使用 GNN 将文本、图像与 CoT 统一,从而生成包含 CoT 信息的最终答案。 4. VCoT:解决了一个输出多模态的问题,通过以生成图片的“标题”以及识别核心关注点作为图像生成的启动过程,通过递归的方式填充图像信息,从而实现输出多模态。 此外,在将 DoT 扩展到预训练的扩散语言模型 Plaid 1B 并在更复杂的推理任务上进行评估时,自回归模型和扩散模型在使用 CoT 或 DoT 进行微调时都显示出显著提高的性能。在微调 Plaid 1B 时,也探索了几种替代方案。 在强化学习驱动的合成数据生成与模型优化流程中,也涉及到 CoT 的相关应用和优化,如初始 CoT 生成、CoT 存储等。
2025-04-12
本地部署大模型,如何微调建立本地知识库
以下是关于本地部署大模型并微调建立本地知识库的详细步骤: 一、使用 AnythingLLM 进行本地知识库搭建 1. 安装 AnythingLLM 安装地址:https://useanything.com/download 安装完成后进入配置页面,主要分为三步: 第一步:选择大模型 第二步:选择文本嵌入模型 第三步:选择向量数据库 2. 构建本地知识库 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 上传文档并在工作空间中进行文本嵌入。 选择对话模式,提供了 Chat 模式(大模型根据训练数据和上传文档数据综合给出答案)和 Query 模式(大模型仅依靠文档中的数据给出答案)。 二、张梦飞的全本地部署教程 1. 部署大语言模型 下载并安装 Ollama 点击进入,根据电脑系统,下载 Ollama:https://ollama.com/download 下载完成后,双击打开,点击“Install” 安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成:http://127.0.0.1:11434/ 下载 qwen2:0.5b 模型 如果是 Windows 电脑,点击 win+R,输入 cmd,点击回车;如果是 Mac 电脑,按下 Command(⌘)+Space 键打开 Spotlight 搜索,输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。 复制相关命令行,粘贴进入,点击回车。 三、智能纪要中的相关内容 在智能纪要中,许键介绍了模型 API 调用方法与知识库创建,包括获取 API key 位置及调用设置,详细讲解了创建 Rag 应用(知识库)流程,如上传非结构化文件、数据解析、切分段落等操作,并回答了诸多问题。同时还涉及工作流创建、模型能力及相关问题的探讨,以及通义千问相关应用及明天课程安排交流等内容。 总之,本地部署大模型并建立本地知识库需要按照上述步骤进行操作和配置,同时不断实践和探索,以达到理想的效果。
2025-04-10
如何做 deepseek 微调
要进行 DeepSeek 微调,以下是一些相关的知识和步骤: 1. 模型蒸馏微调:会带着大家复现模型的蒸馏和微调,并讲解相关知识。用 Deepseek RE Zero 蒸馏出带思考的数据,基于 Deepseek V3 微调,进行冷启动,再做强化学习,还从非公布模型提取微调数据,加上人类偏好,最终形成 R1。 2. 本地部署介绍:如果拥有云服务器,可以进行本地部署,了解满血版本地部署的实际情况。 3. 免费额度说明:在 freely.aliyun.com 可领取 500 元免费额度,但有使用限制,不能部署满血版和较大的增流模型。 4. 平台服务差异:了解 DLC、DSW 和 EAS 等模型部署平台服务的差别。 5. 对于微调的全过程,建议阅读 Unsloth 笔记本和 HuggingFace 的《如何微调开放式 LLMs》,也可以使用《如何在一小时内阅读论文》作为指南。 6. 更加完善的训练说明,可直接阅读官方论文:DeepSeekAI《DeepSeekR1:Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》https://arxiv.org/html/2501.12948
2025-04-08
怎么本地部署ai模型,并进行微调
以下是本地部署 AI 模型并进行微调的主要步骤: 1. 选择合适的部署方式:包括本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等,根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源:确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础:可以使用开源的预训练模型如 BERT、GPT 等,也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练:根据具体应用场景对预训练模型进行微调训练,优化模型结构和训练过程以提高性能。 5. 部署和调试模型:将训练好的模型部署到生产环境,对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护:大模型涉及大量数据和隐私信息,需要重视安全性和合规性。 此外,关于本地部署还有以下相关内容: 如果拥有云服务器如何进行本地部署,以及满血版本地部署的实际情况。 在 freely.aliyun.com 可领取 500 元免费额度,但有使用限制,不能部署满血版和较大的增流模型。 介绍了 DLC、DSW 和 EAS 等模型部署平台服务的差别。 会带着大家复现模型的蒸馏和微调,并讲解相关知识。 PaaS 平台支持多机分布式部署,满足推理性能要求,使用独占资源和专有网络,能一站式完成模型蒸馏。 登录 Pad 控制台,通过 model gallery 进行部署,如 Deepseek R1 模型,可选择 SG 浪或 Vim 推理框架,根据资源出价,部署后可在模型在线服务 EAS 查看状态。 介绍了模型 API 的调用方法,包括查找位置、获取 token 等,强调使用后要及时停止或删除服务以避免持续付费。 总的来说,部署和训练自己的 AI 模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2025-03-27
基于规则的测试生成: 测试用例生成工具: Randoop:基于代码路径和规则生成测试用例,适用于 Java 应用程序。这个应该怎样使用呢
很抱歉,目前没有关于 Randoop 工具使用方法的相关内容。您可以通过以下途径获取更详细的信息: 1. 官方文档:访问 Randoop 的官方网站,查找其提供的详细使用说明和教程。 2. 技术论坛:在相关的技术论坛上搜索关于 Randoop 使用的讨论和经验分享。 3. 开源社区:参与开源社区中关于 Randoop 的交流,向其他开发者请教。
2025-04-08
如何使用AI给测试进行提效
以下是关于如何使用 AI 给测试提效的详细内容: 1. 基于规则的测试生成: 测试用例生成工具: Randoop:基于代码路径和规则生成测试用例,适用于 Java 应用程序。 Pex:微软开发的智能测试生成工具,自动生成高覆盖率的单元测试,适用于.NET 应用。 模式识别: Clang Static Analyzer:利用静态分析技术识别代码模式和潜在缺陷,生成相应的测试用例。 Infer:Facebook 开发的静态分析工具,自动生成测试用例,帮助发现和修复潜在错误。 2. 基于机器学习的测试生成: 深度学习模型: DeepTest:利用深度学习模型生成自动驾驶系统的测试用例,模拟不同驾驶场景,评估系统性能。 DiffTest:基于对抗生成网络(GAN)生成测试用例,检测系统的脆弱性。 强化学习: RLTest:利用强化学习生成测试用例,通过与环境交互学习最优测试策略,提高测试效率和覆盖率。 A3C:基于强化学习的测试生成工具,通过策略梯度方法生成高质量测试用例。 3. 基于自然语言处理(NLP)的测试生成: 文档驱动测试生成: Testim:AI 驱动的测试平台,通过分析文档和用户故事自动生成测试用例,减少人工编写时间。 Test.ai:利用 NLP 技术从需求文档中提取测试用例,确保测试覆盖业务需求。 自动化测试脚本生成: Selenium IDE + NLP:结合 NLP 技术扩展 Selenium IDE,从自然语言描述中生成自动化测试脚本。 Cucumber:使用 Gherkin 语言编写的行为驱动开发(BDD)框架,通过解析自然语言描述生成测试用例。 4. 基于模型的测试生成: 状态模型: GraphWalker:基于状态模型生成测试用例,适用于复杂系统的行为测试。 Spec Explorer:微软开发的模型驱动测试工具,通过探索状态模型生成测试用例。 场景模拟: Modelbased Testing:基于系统模型自动生成测试用例,覆盖各种可能的操作场景和状态转换。 Tosca Testsuite:基于模型的测试工具,自动生成和执行测试用例,适用于复杂应用的端到端测试。 5. 实践中的应用示例: Web 应用测试:使用 Testim 分析用户行为和日志数据,自动生成高覆盖率的测试用例,检测不同浏览器和设备上的兼容性问题。 移动应用测试:利用 Test.ai 从需求文档中提取测试用例,确保覆盖关键功能和用户路径,提高测试效率和质量。 复杂系统测试:采用 GraphWalker 基于系统状态模型生成测试用例,确保覆盖所有可能的状态和操作场景,检测系统的边界情况和异常处理能力。 总结:AI 在生成测试用例方面具有显著的优势,可以自动化和智能化生成高覆盖率的测试用例,减少人工编写测试用例的时间和成本。通过合理应用 AI 工具,前端开发工程师可以提高测试效率、增强测试覆盖率和发现潜在问题,从而提升软件质量和用户体验。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-04-08
如何自动编写测试用例
AI 自动编写测试用例可以通过以下几种方式实现: 1. 基于规则的测试生成: 测试用例生成工具: Randoop:基于代码路径和规则生成测试用例,适用于 Java 应用程序。 Pex:微软开发的智能测试生成工具,自动生成高覆盖率的单元测试,适用于.NET 应用。 模式识别: Clang Static Analyzer:利用静态分析技术识别代码模式和潜在缺陷,生成相应的测试用例。 Infer:Facebook 开发的静态分析工具,自动生成测试用例,帮助发现和修复潜在错误。 2. 基于机器学习的测试生成: 深度学习模型: DeepTest:利用深度学习模型生成自动驾驶系统的测试用例,模拟不同驾驶场景,评估系统性能。 DiffTest:基于对抗生成网络(GAN)生成测试用例,检测系统的脆弱性。 强化学习: RLTest:利用强化学习生成测试用例,通过与环境交互学习最优测试策略,提高测试效率和覆盖率。 A3C:基于强化学习的测试生成工具,通过策略梯度方法生成高质量测试用例。 3. 基于自然语言处理(NLP)的测试生成: 文档驱动测试生成: Testim:AI 驱动的测试平台,通过分析文档和用户故事自动生成测试用例,减少人工编写时间。 Test.ai:利用 NLP 技术从需求文档中提取测试用例,确保测试覆盖业务需求。 自动化测试脚本生成: Selenium IDE + NLP:结合 NLP 技术扩展 Selenium IDE,从自然语言描述中生成自动化测试脚本。 Cucumber:使用 Gherkin 语言编写的行为驱动开发(BDD)框架,通过解析自然语言描述生成测试用例。 4. 基于模型的测试生成: 状态模型: GraphWalker:基于状态模型生成测试用例,适用于复杂系统的行为测试。 Spec Explorer:微软开发的模型驱动测试工具,通过探索状态模型生成测试用例。 场景模拟: Modelbased Testing :基于系统模型自动生成测试用例,覆盖各种可能的操作场景和状态转换。 Tosca Testsuite:基于模型的测试工具,自动生成和执行测试用例,适用于复杂应用的端到端测试。 实践中的应用示例: 1. Web 应用测试:使用 Testim 分析用户行为和日志数据,自动生成高覆盖率的测试用例,检测不同浏览器和设备上的兼容性问题。 2. 移动应用测试:利用 Test.ai 从需求文档中提取测试用例,确保覆盖关键功能和用户路径,提高测试效率和质量。 3. 复杂系统测试:采用 GraphWalker 基于系统状态模型生成测试用例,确保覆盖所有可能的状态和操作场景,检测系统的边界情况和异常处理能力。 总结:AI 在生成测试用例方面具有显著的优势,可以自动化和智能化生成高覆盖率的测试用例,减少人工编写测试用例的时间和成本。通过合理应用 AI 工具,前端开发工程师可以提高测试效率、增强测试覆盖率和发现潜在问题,从而提升软件质量和用户体验。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-04-01
如何使用AI创建测试用例
AI 生成测试用例可以通过以下多种方法实现: 1. 基于规则的测试生成: 测试用例生成工具:如 Randoop(适用于 Java 应用程序)、Pex(适用于.NET 应用)。 模式识别:如 Clang Static Analyzer 利用静态分析技术识别代码模式和潜在缺陷生成相应测试用例,Infer 自动生成测试用例帮助发现和修复潜在错误。 2. 基于机器学习的测试生成: 深度学习模型:如 DeepTest 生成自动驾驶系统的测试用例,DiffTest 基于对抗生成网络(GAN)生成测试用例。 强化学习:如 RLTest 通过与环境交互学习最优测试策略,A3C 通过策略梯度方法生成高质量测试用例。 3. 基于自然语言处理(NLP)的测试生成: 文档驱动测试生成:如 Testim 通过分析文档和用户故事自动生成测试用例,Test.ai 从需求文档中提取测试用例。 自动化测试脚本生成:如 Selenium IDE 结合 NLP 技术扩展从自然语言描述中生成自动化测试脚本,Cucumber 使用 Gherkin 语言编写的行为驱动开发(BDD)框架通过解析自然语言描述生成测试用例。 4. 基于模型的测试生成: 状态模型:如 GraphWalker 基于状态模型生成测试用例,Spec Explorer 微软开发的模型驱动测试工具通过探索状态模型生成测试用例。 场景模拟:如 Modelbased Testing 基于系统模型自动生成测试用例覆盖各种可能的操作场景和状态转换,Tosca Testsuite 基于模型的测试工具自动生成和执行测试用例适用于复杂应用的端到端测试。 5. 实践中的应用示例: Web 应用测试:使用 Testim 分析用户行为和日志数据自动生成高覆盖率的测试用例检测不同浏览器和设备上的兼容性问题。 移动应用测试:利用 Test.ai 从需求文档中提取测试用例确保覆盖关键功能和用户路径提高测试效率和质量。 复杂系统测试:采用 GraphWalker 基于系统状态模型生成测试用例确保覆盖所有可能的状态和操作场景检测系统的边界情况和异常处理能力。 此外,让 AI 写出您想要的代码,可以通过创建优质的.cursorrules 来实现,具体包括: 1. 先说清楚您是谁,让 AI 按照专家的水准来思考和编码。 2. 告诉 AI 您要干什么,使其围绕目标写代码。 3. 定好项目的“规矩”,强调团队的代码规范。 4. 明确文件放置位置,便于后期查找。 5. 指定使用的“工具”,保证项目的整洁和统一。 6. 告诉 AI 怎么做测试,使其生成的代码考虑可测试性并主动写测试用例。 7. 推荐参考资料,让 AI 基于最佳实践写代码。 8. 若项目涉及页面开发,补充 UI 的要求。
2025-03-22
测试大模型工具·
以下是关于测试大模型工具的相关内容: 使用 Coze IDE 创建插件: 网页搜索工具的元数据配置说明: 名称:建议输入清晰易理解的名称,便于后续大语言模型搜索与使用工具。 描述:用于记录当前工具的用途。 启用:若工具未开发测试完成,建议先禁用;若需下线某一工具,可将其设置为禁用,或删除插件等。 输入参数:准确、清晰易理解的参数名称等信息,可让大语言模型更准确使用工具。 输出参数:准确、清晰易理解的参数名称等信息,可让大语言模型更准确使用工具。 操作步骤:在页面右侧单击测试代码图标并输入所需参数,然后单击 Run 测试工具。若在元数据设置了输入参数,可单击自动生成图标,由 IDE 生成模拟数据,调整参数值即可进行测试。 获取字节火山 DeepSeek 系列 API 完整教程及使用方法: 可使用网页聊天和测试等方式。 例如用“2024 年高考全国甲卷理科数学”压轴题测试火山引擎的 DeepSeekR1 的速度,其推理速度比官方版本快,接口延迟低,回复迅速。 无需微调,仅用提示词工程就能让 LLM 获得 tool calling 的功能: 绝大多数小型本地开源大语言模型以及部分商用大模型接口不支持稳定的 tool calling 功能,现有的微调 LLM 解决方案会浪费大量时间和算力。本文提出仅使用提示词工程和精巧的代码设计,即可让 LLM 获得稳定的 tool calling 能力,使用多个不具备该功能的 LLM 作为测试模型,在多个工具调用任务上实验成功率为 100%,基于 comfyui 开发,适合无代码基础的人员复现和修改。
2025-03-19
什么样的数据集适合测试大语言模型?
以下是一些适合测试大语言模型的数据集: Guanaco:地址为,是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集。 chatgptcorpus:地址为,开源了由 ChatGPT3.5 生成的 300 万自问自答数据,包括多个领域,可用于训练大模型。 SmileConv:地址为,数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话,含有 56k 个多轮对话,其对话主题、词汇和篇章语义更加丰富多样,更符合长程多轮对话的应用场景。 用于评估大语言模型的框架和基准有: GAOKAOBench:地址为,是以中国高考题目为数据集,测评大模型语言理解能力、逻辑推理能力的测评框架,收集了 2010 2022 年全国高考卷的题目,包括 1781 道客观题和 1030 道主观题。 AGIEval:地址为,是由微软发布的新型基准测试,选取 20 种面向普通人类考生的官方、公开、高标准往常和资格考试,包括普通大学入学考试(中国高考和美国 SAT 考试)、法学入学考试、数学竞赛、律师资格考试、国家公务员考试等。 Xiezhi:地址为,是由复旦大学发布的一个综合的、多学科的、能够自动更新的领域知识评估 Benchmark,包含 13 个学科门类,24 万道学科题目,516 个具体学科,249587 道题目。 此外,在多语言能力评测方面,还使用了以下数据集: MMMLU:来自 Okapi 的多语言常识理解数据集,在阿、德、西、法、意、荷、俄、乌、越、中这几个子集进行测试。 MGSM:包含德、英、西、法、日、俄、泰、中和孟在内的数学评测。针对人工评测,使用内部评估集比较了 Qwen272BInstruct 与 GPT3.5、GPT4 和 Claude3Opus,该评测集包括 10 种语言:ar(阿拉伯语)、es(西班牙语)、fr(法语)、ko(韩语)、th(泰语)、vi(越南语)、pt(葡萄牙语)、id(印度尼西亚语)、ja(日语)和 ru(俄语)。
2025-03-17
大模型的系统提示词
大模型的系统提示词主要包括以下方面: 1. 在“五津:一键生成‘摸鱼打工猫’视频”中,针对用户选择的主题和回答,总结用户的创作意图,如“打工猫摸鱼的 2 小时,在巴厘岛能看一场日落”,并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词,以数组形式输出到“tishici”,将用户意图输出到“biaoti”。 2. 在“云中江树:智能对决:提示词攻防中的 AI 安全博弈”中,系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意;模型侧对于有能力的厂商应增强安全性并平衡性能,开发者则要在开发中带着安全意识优化系统提示词,加入安全引导和禁止内容等;输出侧可使用传统防御和内容过滤手段,并针对大模型特点进行私有数据泄露等检查。此外,还提到间接注入和提示词泄露的情况,间接注入常发生在应用获取依赖外部数据资源时,攻击者通过隐藏恶意指令完成攻击;提示词泄露指试图操纵模型输出获取部分或全部系统提示词,大模型输出内容可分为系统提示词、用户提示和助手提示词三段,通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash,这3个视觉理解大模型哪个最厉害?
以下是对通义千问 Qwen2.5VL 模型的介绍: 版本:有 3B、7B 和 72B 三个尺寸版本。 主要优势: 视觉理解能力:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。 视频理解能力:支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。 万物识别:擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位:采用矩形框和点的多样化方式对通用物体定位,支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解:提升 OCR 识别能力,增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析:设计了更全面的文档解析格式,称为 QwenVL HTML 格式,能够精准还原文档中的版面布局。 增强的视频理解:引入动态帧率(FPS)训练和绝对时间编码技术,支持小时级别的超长视频理解,具备秒级的事件定位能力。 开源平台: Huggingface:https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope:https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat:https://chat.qwenlm.ai 然而,对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型,目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容,因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看,其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有: 1. 昆仑万维的 SkyReelsV1:它不仅支持文生视频、图生视频,还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。擅长万物识别,能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个: 1. 昆仑万维的 SkyReelsV1:不仅支持文生视频、图生视频,是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元:语义理解能力出色,能精准还原复杂的场景和动作,如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5:全球最快的 AI 视频生成模型,Turbo 模式下可在 10 秒内生成视频,最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能,具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面,较为突出的有 DeepSeek 的 JanusPro 模型,它将图像理解和生成统一在一个模型中;还有通义千问的视觉理解模型,其价格有较大降幅。此外,Pixverse V3.5 是全球最快的 AI 视频生成模型,在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型,因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点: 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验,具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接,产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务,适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景,如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点: 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情,全靠用户脑补,导致用户上头期短,疲劳度高,长期留存低。 3. 无法回答私有领域问题(如公司制度、人员信息等)。 4. 无法及时获取最新信息(如实时天气、比赛结果等)。 5. 无法准确回答专业问题(如复杂数学计算、图像生成等)。
2025-04-14