只可以制作变形时光延续视频，比如花朵开放，冰块融化等，能够学习并应用现实世界的物理规律。
已经放出了代码实现。
## 详细介绍：
首先开发了一套名为 MagicAdapter 的技术，通过分开处理空间和时间训练，它能从变形视频中提取更多的物理知识，并使预训练的T2V模型能够生成这类视频。
接着，引入了动态帧提取策略，这个策略特别适用于变形时光延续视频，因为这类视频变化范围广泛，涵盖了物体戏剧性的变化过程，从而包含了更丰富的物理知识。
还设计了一种名为 Magic Text-Encoder 的工具，用以提升对这类变形视频提示信息的理解。
此外，还特别创建了一个名为 ChronoMagic 的时光延续视频-文本数据集，旨在提升变形视频生成的能力。
如果想详细了解，可以点开视频下方的链接。
谢谢观看本视频。要是喜欢，请订阅、点赞。谢谢
Github：https://github.com/PKU-YuanGroup/MagicTime?tab=readme-ov-file
留言
發佈留言