以下是关于生成可视化图片的相关知识:
MJ 应用篇快速给 PPT 配图:
Sora 原理解释: 以往的许多研究通过使用各种方法对视频数据进行生成建模,包括循环网络、生成对抗网络、自回归变换器和扩散模型。这些工作通常关注于视觉数据的狭窄类别、较短视频或固定大小的视频。Sora 是一个视觉数据的通用模型,它可以生成持续时间、纵横比和分辨率各异的视频和图像,长达一分钟的高清视频。
ComfyUI 的生图原理:
[heading2]稍微高级一点的薅[heading3]复制图像链接[content]这时候我们需要首先复制一下图片的网址:然后打开discord,在聊天栏输入/imagine prompt[图像网址][heading3]复制提示词[content]之后再回到官网,把图像的提示词也复制下来再回discord黏贴到刚才拷贝的网址后面,注意空个格[heading3]生成图像[content]都搞好以后输入命令,稍等一会儿就会得到一个内容和画风都和原图比较接近的图,注意:非自己做的图无法获得random seed所以不能弄得完全一样,如果效果不理想多反复生成几次吧。之后放大觉得还不错的一张,在放大的图里做如下步骤:[heading3]改变比例和镜头拉远[content]首先,点这个Custom Zoom此时可以改变拉伸镜头后的画面比例,如果是屏显PPT一般用16:9,如下图,把--ar这个参数后面的数值改成16:9(默认的方形构图这里是1:1)--zoom参数设置为1.5--zoom参数是镜头拉伸的倍数,1.5~1.7比较靠谱,太大(比如2)会有更大几率生成一些莫名其妙的东西[heading3]检查构图[content]选一张比较好的放大一下,就可以放进PPT调整构图了。构图如果没问题可以直接跳到:[6.提升分辨率](https://waytoagi.feishu.cn/docx/PF9Kdj7gXo0XeVxziCicWYytnVh#doxcn0yGP81zcgAUhSoeXsAsDrc)如果构图还是不太好的话可以在当前这张图的基础上再用一次Zoom Out 1.5x,这样做和直接2x不同,不会有太多奇怪的东西进来。这时候的构图可能就差不多了,选一张比较好的放大出来试试
Much prior work has studied generative modeling of video data using a variety of methods,including recurrent networks,generative adversarial networks,autoregressive transformers,and diffusion models.These works often focus on a narrow category of visual data,on shorter videos,or on videos of a fixed size.Sora is a generalist model of visual data—it can generate videos and images spanning diverse durations,aspect ratios and resolutions,up to a full minute of high definition video.以往的许多研究通过使用各种方法对视频数据进行生成建模,包括循环网络、生成对抗网络、自回归变换器和扩散模型。这些工作通常关注于视觉数据的狭窄类别、较短视频或固定大小的视频。Sora是一个视觉数据的通用模型——它可以生成持续时间、纵横比和分辨率各异的视频和图像,长达一分钟的高清视频。[heading2]Turning visual data into patches
在去噪过程中,模型使用编码后的文本向量来引导图像生成。这确保了生成的图像与输入的文本描述相符。[heading1]五、采样器[content]ComfyUI提供了多种采样算法(如Euler,DDIM,DPM++等)来控制去噪过程。不同的采样器可能会产生略微不同的结果或影响生成速度。[heading1]六、Vae编码[content]VAE是一种基于概率生成模型的框架,它由编码器(Encoder)和解码器(Decoder)组成。(1)编码器:编码器的任务是输入一幅图像,输出一个表示该图像特征的概率分布。这个概率分布通常是一个高斯分布,其均值和方差分别表示图像的特征。(2)解码器:解码器的任务是将编码器输出的概率分布映射回图像空间。它接收一个随机采样的噪声向量(来自编码器输出的概率分布),通过一系列的卷积层和非线性激活函数,生成与输入图像相似的图像。[heading1]七、结果输出[content]最终,ComfyUI将生成的图像显示在界面上,用户可以保存、进一步编辑或用于其他目的。[heading1]八、额外控制[content]ComfyUI支持多种高级功能,如:图像到图像:使用现有图像作为起点进行生成。Lora:使用额外的小型模型来调整风格或内容。ControlNet:允许用用额外的图像来精确控制生成过程。ipadapter:使用参考图像进行风格迁移生成。放大和后处理:改善生成图像的质量和分辨率。