FRESCO – 一键视频风格转换AI工具，告别复杂工作流，本地整合包

近日，北京大学震撼推出FRESCO——一款革新视频风格转换技术的工具，旨在彻底革新视频处理领域，让风格转换变得前所未有的简单与快捷。FRESCO的亮点不仅在于其能够轻松驾驭多样化的视觉风格转换，更独特的是其精细的控制能力，能够让用户精准选择视频中特定区域进行风格变换，实现创意无限。值得称赞的是，为了促进技术共享与创新，FRESCO的项目代码现已全面开源，诚邀全球研究者与爱好者共探视频艺术的新边界。

FRESCO在设计时考虑了帧间对应关系，并引入了帧内对应概念，从而构建了一个更加稳定的时空约束机制。这一改进显著提高了视频中跨帧语义内容的连贯性，使得视频在视觉上更加连贯一致。我们的方法不仅提升了注意力机制的作用，同时还包括了特征的显式更新，这进一步确保了结果视频在时空两个维度上的一致性。

Github地址：

https://github.com/williamyang1991/FRESCO

 

FRESCO的特征亮点：

  • 时间一致性：使用帧内和帧间约束，比单独的光流具有更好的一致性和覆盖范围。与我们之前的工作Reender-A-Video相比，FRESCO 对于大而快速的运动更加鲁棒。
  • 零样本：无需培训或微调。
  • 灵活性：与现成模型（例如ControlNet、LoRA）兼容以进行定制翻译。

FRESCO的技术分析

我们提出了 FRamE 时空对应（FRESCO）。虽然以前的方法主要关注于约束帧间时间对应关系，但我们认为保留帧内空间对应关系同样重要。我们的方法确保语义相似的内容得到一致的处理，从而在翻译后保持其相似性。该策略增强了操作过程中光流的一致性，以防止不一致的引导。此外，对于光流不可用的区域，原始框架内的空间对应可以作为调节机制。

我们的适应重点是将输入帧I的空间和时间对应关系合并到 U-Net 中。更具体地说，我们将I的时间和空间对应关系定义为：

  • 时间对应：这种帧间对应是通过相邻帧之间的光流来测量的，这是保持时间一致性的关键元素。我们的目标是确保视频在操作前后在非遮挡区域共享相同的光流。
  • 空间对应：这种帧内对应是通过单个帧内像素之间的自相似性来衡量的。目的是使被操纵的帧与原始帧共享自相似性，即，语义相似的内容被转换为相似的外观，反之亦然。

我们的适应重点是 U-Net 中解码器层的输入特征和注意力模块：

  • 特征适应：我们提出了一种新颖的 FRESCO 感知特征优化方法。我们设计了空间一致性损失和时间一致性损失来直接优化解码器层特征，以增强它们与输入帧的时间和空间一致性。
  • 注意力适应：我们用 FRESCO 引导的注意力取代自我注意力，由三个组成部分组成。空间引导注意力首先根据输入帧的自相似性聚合特征。然后，使用跨帧注意力来聚合所有帧的特征。最后，时间引导的注意力沿着相同的光流聚合特征，以进一步增强时间一致性。

效果展示：

AI科技智库为广大用户提供了Windows环境下的一键启动包，旨在简化使用流程，使用户无需深入了解Python环境的搭建与配置，便可以轻松地启动并使用这一强大的工具。

如何下载资源？

1：下载压缩包
首先，您需要从以下链接下载一键启动包：

2：启动程序下载完成后，解压压缩包，点击”运行程序”

3：浏览器操作

在浏览器中访问 http://127.0.0.1:8501/，即可通过界面使用工具。

系统要求

请确保您的电脑满足以下配置要求：

  • 操作系统：Windows 10/11 64位
  • 显卡：至少16GB显存的NVIDIA显卡
声明：本站所有软件、课程、素材等资源全部来源于互联网，赞助VIP仅用于对本站服务器带宽及网站运营等费用支出做支持，从本站下载资源，说明你已同意本条款。如若本站内容侵犯了原著者的合法权益，请与我们联系，经过核实后，我们会及时删除处理。