InstantStyle:风格化图像生成,风格迁移,一键置身“梵高星空”

InstantStyle是由InstantID原班团队推出的一种新的风格迁移方法,它专注于解决图像生成中的风格化问题,即生成与参考图像风格一致的图像。这项技术的核心在于实现风格和内容的有效分离,从而在不牺牲内容信息的情况下,注入所期望的艺术风格。

InstantStyle 是一个通用框架,它采用两种简单但有效的技术来实现风格和内容与参考图像的有效分离。通过CLIP提取参考图像的image feature,然后在image feature(CLIP的image encoder提取)和content feature(CLIP的text encoder提取)之间进行相减操作,可以获取参考图像的风格特征(style feature);

将内容与图像分离。受益于 CLIP 全局特征的良好表征,从图像特征中减去内容文本特征后,可以显式地解耦样式和内容。

仅注入样式块:根据经验,深层网络的每一层都会捕获不同的语义信息,在工作中关键观察是存在两种特定的注意力层处理风格。具体来说,InstantStyle分别找到向上的blocks.0.attentions.1和向下的blocks.2.attentions.1捕捉风格(颜色、材质、氛围)和空间布局(结构、构图)。下面是一些示例:

InstantStyle项目也登上了Github global Trending榜!恭喜项目组!

项目地址:https://github.com/InstantStyle

风格模式:

风格模式一共有三种:下图是我上传一张参考风格图像,输入提示词:a cat 在不同风格模式下生成的图像。(种子值一样)

风格迁移:

AI科技智库为广大用户提供了Windows环境下的一键启动包,旨在简化使用流程,使用户无需深入了解Python环境的搭建与配置,便可以轻松地启动并使用这一强大的工具。

如何下载资源?

1:下载压缩包
首先,您需要从以下链接下载一键启动包:

2:启动程序

下载完成后,解压压缩包,点击”运行程序”

3:浏览器操作

在浏览器中访问 http://127.0.0.1:7860/,即可通过浏览器界面使用工具。

还是上传一张风格图,选择风格模式

提示词不变a girl, masterpiece, best quality, high quality

来到高级选项这里,上传一张参考图。

然后再点击生成看下。

可以看到生成的图像有些小瑕疵,这个时候就需要多生成些图片试试,毕竟每次生成的都不一样。

如果你发现生成的图像跟你上传的参考图偏离非常大,你可以适当调节下Controlnet条件尺度,默认0.5。这里我调节0.7再试下

生成的图像,可以看到更像参考图了,Controlnet条件尺度最大为1。根据情况适量调整。

 

 

声明:本站所有软件、课程、素材等资源全部来源于互联网,赞助VIP仅用于对本站服务器带宽及网站运营等费用支出做支持,从本站下载资源,说明你已同意本条款。如若本站内容侵犯了原著者的合法权益,请与我们联系,经过核实后,我们会及时删除处理。