会员专属，加入会员后，所有内容免费下载，永久使用！个人中心每日签到奖励，也可用于会员购买！

IC-Light：最佳智能打光/换场景AI工具，本地整合包

ControlNet 之父张吕敏推出了名为 IC-Light 的控制图像照明光影融合模型。这一模型能够基于文本条件和背景条件重新照明图像，为图像编辑和增强提供了全新的视角和工具。

IC-Light项目旨在通过先进的机器学习技术，对图像的照明条件进行操纵，从而实现一致的光照效果。它提供了两种类型的模型：文本条件重照明模型和背景条件模型，两者均以前景图像作为输入。该技术的重要性在于它能够在不依赖复杂提示的情况下，通过简单的文本描述或背景条件，实现对图像照明的精确控制，这对于图像编辑、增强现实、虚拟现实等领域具有重要意义。

🌎IC-Light 开源地址：

https://github.com/lllyasviel/IC-Light

🎖︎IC-Light 的功能特性：

文本条件模型： 用户可以输入文本提示词（如“左侧光线”、“日光”），模型通过这些提示词和初始潜变量生成具有特定光照方向和特征的图像。例如用户输入提示词“阳光从窗口射入、温馨氛围、卧室”，并选择光照方向“左侧”。模型将生成具有左侧光照效果的图像，模拟阳光从左侧窗户射入的温暖氛围。
背景条件模型： 通过结合背景提示信息，可以对前景物体进行不同风格的光照变化，而无需复杂的提示词。只需提供简单的描述，如“电影般的灯光”，即可轻松生成图像。模型根据提示和背景生成适当光照的前景图像，使人物与背景的光照匹配，呈现电影风格。
一致的照明： 利用HDR（高动态范围）图像中光线传播的独立性，使不同光源的混合效果与混合光源产生的效果一致。该方法通过在模型训练期间引入MLP（多层感知器）来实现一致的光照，使模型能够产生具有高度一致性的重照明效果。例如：用户选择多个不同的光照方向（如左侧光、右侧光、底部光），模型将产生一致的光照效果，甚至可以合并生成法线图。这表明模型通过潜变量空间实现了不同光源的混合效果。
潜变量空间训练：通过潜变量空间的训练，模型能学习到不同光照的映射关系，实现重照明效果的一致性。利用这种一致性特性，甚至可以将不同重照明效果合并成法线图。

⚛IC-Light 的技术原理：

光线独立性：
- 在HDR（高动态范围）空间中，光线传输彼此独立，不同光源的混合效果与多光源同时出现的效果是相同的。
- 这一特性使得不同光源组合的图像外观与多光源直接作用下的外观在数学上（理想的HDR空间）是一致的。
一致性建模：
- 项目中使用多层感知机（MLP）在潜在空间中确保不同光源的组合和传输具有一致性。
- 在训练模型时，通过确保光照一致性来指导生成效果，产生高度一致的重新光照结果。
模型结果：
- 由于模型使用潜在扩散技术，可以在潜在空间内实现学习和重光照操作，从而在各种光照条件下产生高度一致的效果。
- 这些结果非常一致，甚至可以将不同光照条件下的结果合并为法线图，尽管模型在训练时没有直接使用法线图数据。
- 图像输出包括输入图像、模型输出的重光照效果、分离的阴影图像以及合并的法线图。
一致性实验：
- 实验中展示的“appearance mixture”（外观混合）和“light source mixture”（光源混合）的图像在HDR空间内应该是一致的。
- 项目通过潜在空间的一致性，确保模型输出在不同光源组合下具有一致性，从而可以稳定地合成各种光照效果。