与知识库对话

JanusPro 是 DeepSeek 深夜发布的大一统模型，它将图像理解和生成统一在一个模型中。其具有以下特点和优势： 1. 拥有两种超能力：理解模式：使用“超级眼镜”（SigLIPL）仔细查看最大 384x384 大小的图片，并能读取文字。画画模式：使用“魔法画笔”（校正流+SDXLVAE）创作同样大小的图片。 2. 聪明的大脑：核心是 DeepSeek 语言模型，已学习过很多知识。 3. 特别训练法：先自己看很多图画书学习（预训练）。然后老师手把手教（监督微调）。最后用“精华浓缩法”（EMA）保存最好的学习成果。采用 Transformer 大一统模型而非 Diffusion 模型的原因包括： 1. 任务导向：JanusPro 追求多任务统一（理解+生成），而扩散模型更专注生成质量。 2. 效率考量：扩散模型需要多次迭代去噪，自回归生成可能更实时。 3. 架构简洁性：保持单一 Transformer 架构，降低训练和部署成本。其好处有： 1. 统一 Transformer 架构：一个大脑，两种思维。 2. 架构本质：虽然视觉处理分两条路，但后续处理仍用同一个 Transformer。 3. 关键设计：参数共享：底层 Transformer 同时学习理解和生成任务，促进知识迁移。注意力机制：通过跨模态注意力，实现图文深度对齐。灵活性：可通过调整输入快速切换任务模式，无需重新训练模型。该模型的关键点包括： 1. 统一 Transformer 架构，使用同一个模型就能完成图片理解和图片生成。 2. 提供 1B 和 7B 两种规模，适配多元应用场景。 3. 全面开源，支持商用，采用 MIT 协议，部署使用便捷。生图效果方面，JanusPro7B 远好于 Janus，更稳定，提示词更短。行业影响力大 V 如 AK 评论称：JanusPro 是一种新型的自回归框架，它统一了多模态理解和生成。它通过将视觉编码解耦为独立的路径来解决先前方法的局限性，同时仍然利用单一的统一 Transformer 架构进行处理。解耦不仅缓解了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。JanusPro 超越了之前的统一模型，并匹配或超过了特定任务模型的性能。JanusPro 的简单性、高灵活性和有效性使其成为下一代统一多模态模型的有力候选者。模型下载地址：https://github.com/deepseekai/Janus 。模型（7B）：https://huggingface.co/deepseekai/JanusPro7B 。模型（1B）：https://huggingface.co/deepseekai/JanusPro1B 。