ANTI-AI ARCHIVE
艺术史节点 / 260 · 2024-01-23

Lumiere:时空扩散的视频生成

Lumiere: A Space-Time Diffusion Model for Video Generation

Bar-Tal, Omer; Chefer, Hila; Tov, Omer; Herrmann, Charles; Paiss, Roni; Zada, Shiran; Ephrat, Ariel; Hur, Junhwa; Liu, Guanghui; Raj, Amit; Li, Yuanzhen; Rubinstein, Michael; Michaeli, Tomer; Wang, Oliver; Sun, Deqing; Dekel, Tali; Mosseri, Inbar

导读

Lumiere以时空U-Net在一次模型前向处理中覆盖完整视频时长,针对关键帧再插值路线的时间一致性问题提出另一种架构。

原始文献#260
图1:Lumiere不同生成与修补任务的静态帧;完整时间变化须看原项目视频。查看大图 ↗

图1:Lumiere不同生成与修补任务的静态帧;完整时间变化须看原项目视频。 来源为v2,图像版本与论文首次公开日分别记录。

Bar-Tal, Omer; Chefer, Hila; Tov, Omer; Herrmann, Charles; Paiss, Roni; Zada, Shiran; Ephrat, Ariel; Hur, Junhwa; Liu, Guanghui; Raj, Amit; Li, Yuanzhen; Rubinstein, Michael; Michaeli, Tomer; Wang, Oliver; Sun, Deqing; Dekel, Tali; Mosseri, Inbar · original paper / arXiv · 原论文图文与所引作品权利归各自权利人;研究引用不代表开放授权,转载权利待独立复核。

资料出处 · Lumiere: A Space-Time Diffusion Model for Video Generation ↗

档案研究说明

Lumiere以时空U-Net在一次模型前向处理中覆盖完整视频时长,针对关键帧再插值路线的时间一致性问题提出另一种架构。

ANTI-AI ARCHIVE · 修订 2026-10-03

论文研究了什么

空间与时间的下采样、上采样让网络在多个尺度处理视频,结合预训练图像模型生成低分辨率全帧率片段。论文展示文字到视频、图像到视频、视频修补与风格化等应用。

本节依据: Lumiere:时空扩散的视频生成

与生成艺术史的关系

编者解释:时间一致性可以是架构问题,而不只是输出后的修补。它让生成影像史能比较镜头如何被整体组织,而非只把模型按画质或发布日期排成名单。

本节依据: Lumiere:时空扩散的视频生成

阅读边界与版本

一次前向处理覆盖完整时长不等于只需一次去噪步骤;模型仍属于扩散生成过程。

本节依据: Lumiere:时空扩散的视频生成

正文引用资料

Lumiere:时空扩散的视频生成 ↗

核读arXiv摘要、署名和版本记录,以及原论文第1页所选图页;未全文审查证明、未复现实验。

核读arXiv摘要、署名和版本记录,以及原论文第1页所选图页;未全文审查证明、未复现实验。 正文与译文使用 AI 辅助,尚未经独立人工审校;分节引文标明依据,不代表已独立验证全部史实。

带着问题继续阅读

视频扩散模型 ↗

Lumiere:对照视频扩散模型的方法、控制或评价条件。

Stable Video Diffusion:开放视频生成 ↗

Lumiere:对照Stable Video Diffusion的方法、控制或评价条件。

Sora:连续影像与公众期待 ↗

Lumiere:对照从图像到视频的方法、控制或评价条件。

日期与版本记录

节点标注日期:2024-01-23 · 来源记录的历史日期:2024-01-23

时间线采用arXiv首次公开日,不以会议发表、模型上线或2026-10-03补录日替代。正文及图像参照v2;该版日期见原文版本记录。

以上日期属于历史事件或资料所记版本,不是本站页面的上线日期;保留原有日期精度与待核事项。

原始资料与进一步阅读

以下链接通往来源的论文、文章、机构或会议页面。外部原文的语言以来源为准。

01
Lumiere:时空扩散的视频生成 ↗

Lumiere: A Space-Time Diffusion Model for Video Generation

https://arxiv.org/abs/2401.12945

当前引用地址

核读arXiv摘要、署名和版本记录,以及原论文第1页所选图页;未全文审查证明、未复现实验。

出处、翻译与核验状态

档案节点 #260 · 研究论文首次公开;方法、评估与制作条件

研究资料与补充出处 · 1

2022年以来重要论文补录与去重资料 · 核读arXiv摘要、署名和版本记录,以及原论文第1页所选图页;未全文审查证明、未复现实验。 · 024
原记日期: 2024-01-23
Lumiere:时空扩散的视频生成 ↗
Lumiere: A Space-Time Diffusion Model for Video Generation

站内说明依据所列研究资料撰写,非外链全文译本;AI 辅助翻译,待独立人工审校。

已按条目所列范围核读官方资料;核读范围与待复核事项见来源说明。

引用本节点

ANTI-AI ARCHIVE. Lumiere:时空扩散的视频生成. 艺术史节点 #260. https://salondesrefuses.cn/zh/art-history/347

引用具体史实时,请同时引用上方原始资料,并补充你的访问日期。本站说明不是外链全文译本。

相邻节点按时间顺序排列,不意味着二者存在直接影响或因果关系。