快手联合推出Pyramid Flow开源文生视频AI模型
由快手科技、北京大学和北京邮电大学联合组建的研究团队推出 Pyramid Flow 文生视频模型,用户在输入文本之后,即可生成最长 10 秒、分辨率高达 1280x768、帧率 24fps 的高质量视频。
Pyramid Flow 文生视频模型主要面向开发者、艺术家和创作者等,提供更高效、更灵活的视频生成解决方案,目前已经在 Hugging Face 平台上线,并完全开源。
Pyramid-Flow仅通过文本就能生成最多10秒、1280x768分辨率和24帧视频,在光影效果、运动动作一致性、视频质量、文本语义还原、色彩搭配等方面非常优秀,生成的视频很棒。
值得一提的是,Pyramid-Flow使用A100 GPU在开源数据集上仅训练了20.700小时,其能耗和生成效率比市面上同类开源视频模型好很多,对于没有大量算力的中小企业和个人开发者来说帮助很大。
附上 Pyramid Flow 的核心特点如下:
高效生成:Pyramid Flow 采用新技术,通过统一 AI 模型分阶段生成视频,大多数阶段为低分辨率,只有最后阶段为全分辨率。这种“金字塔流匹配”方法保持了视频的高视觉质量前提下,大幅降低了计算成本,tokens 数量是传统 diffusion 模型的四分之一。
快速推理:在推理过程中,该模型可以在 56 秒内生成一个 5 秒、384p 的视频,速度媲美许多全序列 diffusion 模型,甚至更快。
开源和商业使用:Pyramid-Flow 在 MIT 许可证下发布,允许广泛的使用,包括商业应用、修改和再分发,吸引了希望将模型集成到专有系统中的开发者和公司。