Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

图生文模型

Answer

以下是关于图生文模型的相关信息: Kolors 是一款强大的开源文生图模型,具有更强的中文文本编码器、机造的高质量文本描述、人标的高质量图片、强大的中文渲染能力,以及巧妙的 noise schedule 解决高分辨率图加噪不彻底的问题。实测效果很不错,展现了快手的技术实力。 Tripo AI 中,文生 3D 模型是用一段文字生成 3D 模型,在「Create」界面底部输入框输入提示词(不支持中文),不会写提示词可点击输入框左侧的</>按钮随机生成并自动填入。填写好提示词后点击右侧「Create」生成 3D 模型,每次生成 4 个基础模型,不满意可点击「Retry」重新生成。有满意的模型点击单个模型下方黄色的「Refine」精修,精修进度在「My Models」中查看,一般 5 分钟左右完成。图生 3D 模型是用一张图片生成 3D 模型,点击输入框右侧的图标上传图片即可生成,一次生成一个基础模型,同样支持重生成和精修。 Tusiart 文生图操作流程包括:定主题,确定生成图片的主题、风格和信息;选择基础模型 Checkpoint,找内容贴近的模型;选择 lora,寻找内容重叠的 lora 控制图片效果及质量;ControlNet 用于控制图片中特定图像;设置 VAE 无脑选择 840000;Prompt 提示词用英文写需求,单词和短语用英文半角逗号隔开;负向提示词 Negative Prompt 用英文写避免产生的内容,单词和短语组合并用英文半角逗号隔开;采样算法一般选 DPM++ 2M Karras,也可参考模型作者推荐的采样器;采样次数根据采样器特征,选 DPM++ 2M Karras 时一般在 30 - 40 之间;尺寸根据个人喜好和需求选择。
Content generated by AI large model, please carefully verify (powered by aily)

References

模型能力简介

Kolors可以说是最近开源的文生图模型中最给力的一个了。从技术报告来看,改进也是很全面的,更强的中文文本编码器、机造的高质量文本描述、人标的高质量图片、强大的中文渲染能力,以及巧妙的noise schedule解决高分辨率图加噪不彻底的问题。可以说是目前主流的文生图训练技巧都用上了,实测效果也确实很不错。在看到Kling视频生成的强大表现,不得不让人赞叹快手的技术实力。

Tripo AI入门手册:AI 3D创作,从未如此简单

顾名思义就是用一段文字生成3D模型,仅需1步[Tripo文生教程.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/Qe0YbxHvNoGjQKxIUHkcHuHBnXc?allow_redirect=1)在「Create」界面底部的输入框中,可以输入自己的提示词(此处不支持中文哦)。不会写提示词的伙伴也不用担心,点击输入框左侧的</>按钮可以随机生成提示词并自动填入输出入框中。提示词填写好以后,点击右侧的「Create」来生成3D模型。每次会生成4个基础模型,如果不满意,可以点击最下方白色的「Retry」按钮,重新生成4个基础模型。如果有满意的模型,只需要点击单个模型下方黄色的「Refine」,就可以精修此模型了。在「My Models」中可以看到精修进度,一般5 min左右就可以完成。[heading1]四、图生3D模型[content]顾名思义就是用一张图片生成3D模型,仅需1步[Tripo图生教程.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/IBmxbag9Ho8zARxvcRWcKxRKnif?allow_redirect=1)点击输入框右侧的图标,可以上传图片来生成3D模型。图生3D一次只会生成一个基础模型,同样支持Retry重生成和Refine精修。至于效果嘛,自己体验吧。

Tusiart简易上手教程

定主题:你需要生成一张什么主题、什么风格、表达什么信息的图。选择基础模型Checkpoint:按照你需要的主题,找内容贴近的checkpoint。一般我喜欢用模型大佬麦橘、墨幽的系列模型,比如说麦橘写实、麦橘男团、墨幽人造人等等,效果拔群。选择lora:在你想要生成的内容基础上,寻找内容重叠的lora,帮助你控制图片效果及质量。可以多看看广场上做得好看的帖子里面,他们都在用什么lora。ControlNet:控制图片中一些特定的图像,可以用于控制人物姿态,或者是生成特定文字、艺术化二维码等等。也是高阶技能,后面再学不迟。局部重绘:下篇再教,这里不急。设置VAE:无脑选择前面提到的840000这个即可。Prompt提示词:用英文写你想要AI生成的内容,不用管语法也不要写长句,仅使用单词和短语的组合去表达你的需求。单词、短语之间用英文半角逗号隔开即可。负向提示词Negative Prompt:用英文写你想要AI避免产生的内容,也是一样不用管语法,只需单词和短语组合,中间用英文半角逗号隔开。采样算法:这玩意儿还挺复杂的,现在我一般选DPM++ 2M Karras比较多。当然,最稳妥的是留意checkpoint的详情页上,模型作者是否有推荐采样器,使用他们推荐的采样器会更有保障。采样次数:要根据你采样器的特征来,一般我选了DPM++ 2M Karras之后,采样次数在30~40之间,多了意义不大还慢,少了出图效果差。尺寸:看你喜欢,看你需求。

Others are asking
图生文怎么制作
以下是关于图生文制作的详细步骤: 一、Tusiart 简易上手教程 1. 定主题:明确您需要生成的图片的主题、风格和要表达的信息。 2. 选择基础模型 Checkpoint:根据主题,选择内容贴近的 checkpoint,如麦橘、墨幽的系列模型,如麦橘写实、麦橘男团、墨幽人造人等。 3. 选择 lora:基于生成内容,寻找重叠的 lora 以控制图片效果和质量,可参考广场上好看帖子中使用的 lora。 4. ControlNet:用于控制图片中的特定图像,如人物姿态、特定文字、艺术化二维码等,属于高阶技能,可后续学习。 5. 局部重绘:下篇再教。 6. 设置 VAE:无脑选择 840000 这个即可。 7. Prompt 提示词:用英文写想要 AI 生成的内容,使用单词和短语组合,用英文半角逗号隔开,无需管语法和长句。 8. 负向提示词 Negative Prompt:用英文写想要 AI 避免产生的内容,同样是单词和短语组合,用英文半角逗号隔开,无需语法。 9. 采样算法:一般选 DPM++2M Karras 较多,也可留意 checkpoint 详情页上模型作者推荐的采样器。 10. 采样次数:选 DPM++2M Karras 后,采样次数在 30 40 之间,过多意义不大且慢,过少出图效果差。 11. 尺寸:根据个人喜好和需求选择。 二、Liblibai 简易上手教程 1. 定主题:确定要生成的图片的主题、风格和表达信息。 2. 选择 Checkpoint:依照主题找贴近的 checkpoint,如麦橘、墨幽的系列模型。 3. 选择 lora:寻找与生成内容重叠的 lora 来控制图片效果和质量,参考广场上的优秀帖子。 4. 设置 VAE:无脑选 840000 那一串。 5. CLIP 跳过层:设成 2 。 6. Prompt 提示词:用英文写想要 AI 生成的内容,单词和短语组合,用英文半角逗号隔开,不管语法和长句。 7. 负向提示词 Negative Prompt:用英文写想要 AI 避免产生的内容,单词和短语组合,用英文半角逗号隔开,不管语法。 8. 采样方法:一般选 DPM++2M Karras 较多,留意 checkpoint 详情页上模型作者推荐的采样器。 9. 迭代步数:选 DPM++2M Karras 后,在 30 40 之间,过多意义不大且慢,过少出图效果差。 10. 尺寸:根据个人喜好和需求选择。 11. 生成批次:默认 1 批。 三、SD 新手入门图文教程 1. CFG Scale(提示词相关性):决定图像与提示的匹配程度,增加该值会使图像更接近提示,但可能降低图像质量,可用更多采样步骤抵消,一般开到 7 11 ,过高会有粗犷线条和过锐化图像。 2. 生成批次:每次生成图像的组数,一次运行生成图像的数量为“批次×批次数量”。 3. 每批数量:同时生成的图像个数,增加会提高性能但需更多显存,若显存未超 12G ,保持为 1 。 4. 尺寸:指定图像长宽,出图尺寸太宽可能出现多个主体,1024 以上尺寸可能效果不理想,推荐小尺寸分辨率+高清修复(Hires fix) 。 5. 种子:决定模型生成图片时的随机性,初始化 Diffusion 算法起点的初始值,相同参数下应生成相同图片。 6. 高清修复:通过勾选“Highres.fix”启用,默认高分辨率下会生成混沌图像,使用后先按指定尺寸生成再放大,实现高清大图效果,最终尺寸为(原分辨率×缩放系数 Upscale by) 。
2025-03-11
多模图生文评测集
以下是关于多模图生文评测集的相关信息: 为全面比较 Kolors 与其他模型的生成能力,构建了包含人工评估、机器评估的全面评测内容。构建了包含 14 种垂类、12 个挑战项、总数量为一千多个 prompt 的文生图评估集 KolorsPrompts。在 KolorsPrompts 上,收集了 Kolors 与市面上常见的 SOTA 级别的开源/闭源系统的文生图结果,并进行了人工评测和机器评测。 人工评测方面,邀请了 50 个具有图像领域知识的专业评估人员对不同模型的生成结果进行对比评估,衡量维度为画面质量、图文相关性、整体满意度三个方面。Kolors 在整体满意度方面处于最优水平,其中画面质量显著领先其他模型。具体的平均分数如下: AdobeFirefly:整体满意度平均分 3.03,画面质量平均分 3.46,图文相关性平均分 3.84。 Stable Diffusion 3:整体满意度平均分 3.26,画面质量平均分 3.5,图文相关性平均分 4.2。 DALLE 3:整体满意度平均分 3.32,画面质量平均分 3.54,图文相关性平均分 4.22。 Midjourneyv5:整体满意度平均分 3.32,画面质量平均分 3.68,图文相关性平均分 4.02。 Playgroundv2.5:整体满意度平均分 3.37,画面质量平均分 3.73,图文相关性平均分 4.04。 Midjourneyv6:整体满意度平均分 3.58,画面质量平均分 3.92,图文相关性平均分 4.18。 Kolors:整体满意度平均分 3.59,画面质量平均分 3.99,图文相关性平均分 4.17。所有模型结果取自 2024.04 的产品版本。 Kolors 开源模型相关: 2024.07.03,Kolors 在智源研究院评测中取得第二名,其中中文主观质量、英文主观质量两个单项排名第一。 2024.07.02,祝贺,可图项目组提出的可控视频生成方法被 ECCV 2024 接收。 2024.02.08,祝贺,可图项目组提出的生成模型评估方法被 CVPR 2024 接收。 多模态大模型入门指南: 训练过程: 预训练阶段:通常利用 XText 的数据集,来训练输入、输出的 Projector。通过优化损失函数来实现不同模态的对齐。PEFT 有时候用于 LLM Backbone。X文本数据集包含图像文本、视频文本和音频文本,其中图像文本有两种类型:图像文本对(即<img1><txt1>)和交错图像文本语料库(即,txt1><img1><txt2><txt3><img2><txt4>)。这些 XText 数据集的详细统计数据如附录 F 的表 3 所示。 多模态微调:对满足指令微调格式的一系列数据集对预训练好的多模态大模型进行微调。通过这种微调,MMLLM 可以遵循新的指令泛化到没有见过的任务,增强 zeroshot 的能力。MM IT 包括监督微调(SFT)和 RLHF 两部分,目的是为了使得模型符合人类的意图或者偏好,并且增强 MMLLMs 的交互能力。SFT 将 PT 阶段的数据转换为指令aware 的格式,使用 QA 任务作为例子。可以采用各种模板。优化目标和预训练相同,SFT 数据可以构造为单轮的 QA 或者多轮的 QA。常用的 SFT 和 RLHF 的数据集见表 4。
2024-12-06
图生文评测集
以下是关于图生文评测集的相关内容: 为全面比较 Kolors 与其他模型的生成能力,构建了包含人工评估、机器评估的全面评测内容。在相关基准评测中,Kolors 表现有竞争力,达业界领先水平。构建了包含 14 种垂类、12 个挑战项、总数量一千多个 prompt 的文生图评估集 KolorsPrompts。在 KolorsPrompts 上,收集了 Kolors 与常见 SOTA 级别开源/闭源系统的文生图结果,并进行人工评测和机器评测。 人工评测方面,邀请 50 个具有图像领域知识的专业评估人员对不同模型生成结果对比评估,衡量维度为画面质量、图文相关性、整体满意度。Kolors 在整体满意度方面最优,画面质量显著领先其他模型。具体平均分如下: |模型|整体满意度平均分|画面质量平均分|图文相关性平均分| ||||| |AdobeFirefly|3.03|3.46|3.84| |Stable Diffusion 3|3.26|3.5|4.2| |DALLE 3|3.32|3.54|4.22| |Midjourneyv5|3.32|3.68|4.02| |Playgroundv2.5|3.37|3.73|4.04| |Midjourneyv6|3.58|3.92|4.18| |Kolors|3.59|3.99|4.17| 此外,还有关于 Vidu 大家测试和 Tusiart 简易上手教程的相关信息: Vidu 全球上线,注册即刻体验。Web 端访问:https://www.vidu.studio/ ,具有极速生成(实测 30 秒最快推理速度)、动漫风格、角色可控、精准理解、大片质感等特点。同时提供了“文生视频”“图生视频(用作起始帧)”“参考人物角色生成视频”的使用指南及相关视频链接。 Tusiart 简易上手教程中,文生图的相关要点包括:提示词相关性(数字在 5 15 之间为宜)、随机种子、ADetailer(面部修复插件)、CLIP skip(设成 2 )。
2024-12-06
图生文产品经理工作内容,详细一些
以下是关于图生文产品经理工作内容的详细介绍: 1. 学历与专业背景:通常要求本科及以上学历,计算机科学、人工智能、机器学习相关专业背景。 2. 工具使用与原理掌握:熟悉 ChatGPT、Llama、Claude 等 AI 工具的使用及原理,并具有实际应用经验;熟练掌握 ChatGPT、Midjourney 等 AI 工具的使用及原理。 3. 项目负责:负责制定和执行 AI 项目,如 Prompt 设计平台化方法和模板化方法。 4. 技术了解:了解并熟悉 Prompt Engineering,包括常见的 Prompt 优化策略(例如 CoT、Fewshot 等)。 5. 数据分析与决策:对数据驱动的决策有深入的理解,能够基于数据分析做出决策。 6. 创新思维:具有创新思维,能够基于业务需求提出并实践 AI first 的解决方案。 7. 前沿关注:对 AI 技术与算法领域抱有强烈的好奇心,并能付诸实践;对 AIGC 领域有深入的理解与实际工作经验,保持对 AI 技术前沿的关注。 8. 编程与算法能力:具备一定的编程和算法研究能力,能应用新的 AI 技术和算法于对话模型生成;具有一定的编程基础,熟练使用 Python、Git 等工具。 此外,从实际案例来看,产品经理还会在工作中运用 AI 工具解决实际问题,如使用 GPT 优化代码以提高工作效率和解决性能问题等。
2024-10-16
推荐免费使用的图生文的AI
以下为您推荐一些免费使用的图生文的 AI 工具: 1. Clip Interrogator:这是一款「图生文」反向工具,上传图片即可生成对应的文字描述。实测上传真实照片也可生成对应 prompt。 网址:https://replicate.com/pharmapsychotic/clipinterrogator 2. Midjourney:已实现「图生文」反向输出功能。 此外,还有一些相关的 AI 工具供您参考: 1. Pika:出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 2. SVD:如果熟悉 Stable Diffusion,可以直接安装这款最新的插件,在图片基础上直接生成视频。这是由 Stability AI 开源的 video model。 3. Leonardo:能生成高质量图片,支持用户上传自己 DIY 的模型,提供丰富的模型选择,但存在访问限制。 更多相关工具和信息您可以查看:https://www.waytoagi.com/category/38 。请注意,以上内容由 AI 大模型生成,请仔细甄别。
2024-10-11
图生文功能的开源数据集有哪些?
图生文功能的开源数据集有一些,其中一个比较知名的是智源研究院 FlagEval 团队开源的ImageEvalprompt。这是一个细粒度的文生图模型测评数据集,从实体、风格、细节上拆分出 11 个评测子维度,并对 DALLE 2、Stable Diffusion、 AltDiffusionm18 、ERNIEViLG 等模型进行了对比测评。 此外,还有一些其他的开源数据集可以用于训练和评估图生文模型,但具体的选择取决于您的需求和目标。希望这个信息对您有所帮助!
2024-04-21
大模型的系统提示词
大模型的系统提示词主要包括以下方面: 1. 在“五津:一键生成‘摸鱼打工猫’视频”中,针对用户选择的主题和回答,总结用户的创作意图,如“打工猫摸鱼的 2 小时,在巴厘岛能看一场日落”,并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词,以数组形式输出到“tishici”,将用户意图输出到“biaoti”。 2. 在“云中江树:智能对决:提示词攻防中的 AI 安全博弈”中,系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意;模型侧对于有能力的厂商应增强安全性并平衡性能,开发者则要在开发中带着安全意识优化系统提示词,加入安全引导和禁止内容等;输出侧可使用传统防御和内容过滤手段,并针对大模型特点进行私有数据泄露等检查。此外,还提到间接注入和提示词泄露的情况,间接注入常发生在应用获取依赖外部数据资源时,攻击者通过隐藏恶意指令完成攻击;提示词泄露指试图操纵模型输出获取部分或全部系统提示词,大模型输出内容可分为系统提示词、用户提示和助手提示词三段,通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash,这3个视觉理解大模型哪个最厉害?
以下是对通义千问 Qwen2.5VL 模型的介绍: 版本:有 3B、7B 和 72B 三个尺寸版本。 主要优势: 视觉理解能力:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。 视频理解能力:支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。 万物识别:擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位:采用矩形框和点的多样化方式对通用物体定位,支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解:提升 OCR 识别能力,增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析:设计了更全面的文档解析格式,称为 QwenVL HTML 格式,能够精准还原文档中的版面布局。 增强的视频理解:引入动态帧率(FPS)训练和绝对时间编码技术,支持小时级别的超长视频理解,具备秒级的事件定位能力。 开源平台: Huggingface:https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope:https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat:https://chat.qwenlm.ai 然而,对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型,目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容,因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看,其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有: 1. 昆仑万维的 SkyReelsV1:它不仅支持文生视频、图生视频,还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。擅长万物识别,能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个: 1. 昆仑万维的 SkyReelsV1:不仅支持文生视频、图生视频,是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元:语义理解能力出色,能精准还原复杂的场景和动作,如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5:全球最快的 AI 视频生成模型,Turbo 模式下可在 10 秒内生成视频,最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能,具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面,较为突出的有 DeepSeek 的 JanusPro 模型,它将图像理解和生成统一在一个模型中;还有通义千问的视觉理解模型,其价格有较大降幅。此外,Pixverse V3.5 是全球最快的 AI 视频生成模型,在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型,因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点: 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验,具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接,产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务,适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景,如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点: 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情,全靠用户脑补,导致用户上头期短,疲劳度高,长期留存低。 3. 无法回答私有领域问题(如公司制度、人员信息等)。 4. 无法及时获取最新信息(如实时天气、比赛结果等)。 5. 无法准确回答专业问题(如复杂数学计算、图像生成等)。
2025-04-14