微软亚洲研究院推出NUWA-XL超长视频生成模型
(资料图)
编程客栈（）4月20日 消息:你相信吗?只要php输入16句简单描述，AI就能生成11分钟的动画了。
近日，微软亚洲研究院推出了NUWA-XL超长视频生成模型，采用创新的Diffusion over DiffusionjOjoKmg架构，通过「从粗到细」的生成过程，可以并行生成高质量的超长视频，为多模态大模型提供了新的解题思路。
论文地址:https://arxiv.org/abs/2303.12346
NUWA-XL「从粗到细」的生成方法具有三个优势:
分层结构使模型能够直接在长视频上进行训练，python从而消除了训练和推理之间的差距。
模型包含多个局部扩散模型，自然支持并行推理，可以显著提高生成长视频时的推理速度。例如在相同的硬件设置下，当生android成1024帧时，NUWA-XL 使平均推理时间从7.55分钟减少到26秒，速度提升了94.26%。
由于视频的长度可以相对于深度 m 呈指数级扩展，因此模型可以很容易地扩展出更长的视频。
目前，长视频生成的多数方法是采用「Autoregressive over X」架构，这种方法存在训练-推理差距的问题，导致不真实的、扭曲的镜头变化。
NUWA-XL的推出填补了长视频生成领域的空白，为人工智能在视频jOjoKmg生成方面的应用提供了新的可能性。
微软亚洲研究院首席研究员段楠表示，目前人工智能多模态大模型的研发仍停留在文字生成阶段。即使GPT-4已经在理解方面加入了视觉信息，但仅限于图片，输出依旧是文字或代码。因此，当前和未来的研究方向非常明确，就是将语言和视觉的理解和生成融入到一个基础大模型中，以增强图像、视频和音频的生成。他希望未来可以使用一套结构来融合支持语言和视觉的生成算法，使人工智能模型更加通用。
X 关闭
资讯
- 微软亚洲研究院推出NUWA-XL超长视频生成模型
- 职工医保缴费年限新规2023年 职工医保缴费需要注意什么？
- 10岁男孩打赏主播 10天花掉30000多元_世界热资讯
- 看热讯：dnf超越巅峰称号怎么得（dnf超越极限者称号怎么得）
- 天天看点：兰州大学2023年强基计划公布 4月20日起报名
- 报道：复原乳是什么意思_复原乳是什么
- 【环球播资讯】泰康世纪圣典精英：绩优高客道路越走越宽广
- 焦点热门:当日快讯：陕鼓动力：2022年年归母净利润9.68亿元，同比增12.96%，拟10派3.5元
科技
-
大山深处的书香春节2022-02-07 -
天津：男子涂改核酸证明进火车站被拘留2022-02-07 -
守护中国唯一国境“骑马线”的“护路人”：保证中欧班列冬季运输安全2022-02-07 -
降雪致青海多条高速实行交通管制2022-02-07 -
广州番禺部分区域被划定为疫情防控管理区2022-02-07