Open-Sora 1.1发布：视频生成质量和持续时间显著提升

文章来源：08AI导航网发布时间：2024-12-10 22:50:19

今天，我们很高兴地推出 Open-Sora-Plan v1.1.0，它显着提高了视频生成质量和持续时间以及文本控制功能。与之前的 Open-Sora-Plan v1.1.0 版本相比，改进了：

更好的压缩视觉表示：我们优化了 CausalVideoVAE 架构，该架构现在具有更强的性能和更高的推理效率。

生成质量更高、时长更长：我们使用了更高质量的视觉数据和标题以及ShareGPT4Video对长视频进行注释的能力，我们可以生成更高质量和更长的视频。

除了性能改进外，Open-Sora-Plan v1.1.0 还保持了 v1.0.0 的极简设计和数据效率。值得注意的是，我们发现 v1.1.0 表现出与 Sora 基础模型相似的性能，这表明我们版本的演变与 Sora 演示的缩放定律一致。

我们开源了 Open-Sora-Plan，以促进社区视频生成的未来发展。代码、数据、模型将公开提供。

演示：Hugging Face 演示在这里。

代码：所有训练脚本和示例脚本。

模型：此处为 Diffusion Model 和 CasualVideoVAE。

数据：此处为原始视频和字幕。

GitHub：https://github.com/PKU-YuanGroup/Open-Sora-Plan/tree/main

在线体验：https://huggingface.co/spaces/LanguageBind/Open-Sora-Plan-v1.1.0

Open-Sora-Plan v1.1.0基于 transformer 的文本到视频扩散系统，基于 T5 的文本嵌入进行训练。

上一篇: SignLLM：第一个多语种手语生成模型

SignLLM：第一个多语种手语生成模型_映技派,专注ai人工智能!,SignLLM，第一个多语种手语生成模型，可以将输入的文本或提示转化为相应的手语手势视频。

下一篇: Flawless：利用AI生成与原版电影一样的唇形同步配音

Flawless：利用AI生成与原版电影一样的唇形同步配音_映技派,专注ai人工智能!,Flawless是一家生成式人工智能电影制作技术的公司。Flawless的TrueSync工具能够创建与原版电影一样沉浸和真实的配音版本，确保配音在任何语言中的唇同步都完美无瑕。Flawless可以为电影和电视节目创建多语言版本，确保每个版本的对话都与演员的口型完美匹配，就像是在用他们的母语一样。Flawless的核心在于其“True Sync”技术，这项技术通过深度伪造技术，实现了外语音轨与电影