MagicTime:一键生成可变延时视频AI整合包,北大开源

MagicTime 是一款由北大团队开发的新框架,用于生成可变时间延时视频( Metamorphic Videos )。简单一点来说,就是可以基于文本提示,展示物体变化的过程,并生成我们熟知的延时摄影视频。

通常来说,生成变化过程的视频对于模型来说是很困难的,因为模型不仅需要根据文本生成正确的信息,还需要跟随时间,展示出变化的过程。对于现有的模型来说,在生成这样的视频时,它们往往无法很好的遵循现实世界的物理规律,比如 Sora 的演示视频中凭空出现的小狗。

而 MagicTime 的开发团队通过自主设计的 MagicAdapter 方案,可以解耦空间和时间训练,从而编码更多的物理知识,使图像更符合现实。基于传统的 T2V 模型,MagicTime 在预训练 T2V 的基础上进行转换,从而生成我们看到的延时视频。

团队还将 MagicTime 集成到了先前介绍过的北大 Open-Sora-Plan 中,在同一标注框架中使用额外的变质景观延时视频进行扩展,以获得 ChronoMagic-Landscape 数据集。然后利用该数据集对 Open-Sora-Plan 进行微调,得到 MagicTime-DiT 模型。在项目的主页上,也对模型生成效果进行了部分展示。

开发团队似乎对《我的世界》这款游戏情有独钟,项目已生成的 demo 中,有很大一部分都是展示 Minecraft 中的建筑过程。相信不少游玩过这款游戏的玩家都和我一样,在看到演示 demo 是自己喜欢的游戏画面时,都会忍不住往下翻翻吧。

GIthub仓库:

https://github.com/PKU-YuanGroup/MagicTime

AI科技智库为广大用户提供了Windows环境下的一键启动包,旨在简化使用流程,使用户无需深入了解Python环境的搭建与配置,便可以轻松地启动并使用这一强大的工具。

如何下载资源?

1:下载压缩包
首先,您需要从以下链接下载一键启动包:

2:启动程序

下载完成后,解压压缩包,点击”运行程序”

3:浏览器操作

在浏览器中访问 http://127.0.0.1:7860/,即可通过浏览器界面使用工具。

 

声明:本站所有软件、课程、素材等资源全部来源于互联网,赞助VIP仅用于对本站服务器带宽及网站运营等费用支出做支持,从本站下载资源,说明你已同意本条款。如若本站内容侵犯了原著者的合法权益,请与我们联系,经过核实后,我们会及时删除处理。