![]()
在生成式视频快速发展的今天,模型已经能够生成高质量的短视频片段,但一个更具挑战性的问题正逐渐成为研究焦点:
如何生成长时间、可连续演化的视频序列?当生成从 “几秒” 走向 “长时序” 时,问题开始显现:视角变化带来的结构漂移、时间推进中的内容不一致,使得视频在空间与时间维度上难以保持稳定,往往 “走着走着就乱了”。
与此同时,如何让视频生成具备可控性,能够沿指定路径连续移动,也成为实际应用中的关键需求。
近日,来自 University of California, Irvine、University of California, San Diego、City University of Hong Kong、University of Pennsylvania 以及 Adobe Research 的研究者共同提出了 OmniRoam,一种面向轨迹可控长视频生成的新方法。
![]()
论文标题:OmniRoam: World Wandering via Long-Horizon Panoramic Video Generation项目主页:https://yuheng.ink/project-page/omniroam/文章链接:https://arxiv.org/pdf/2603.30045代码链接:https://github.com/yuhengliu02/OmniRoam
该工作通过引入全景视频作为统一表示,并结合 coarse-to-fine 的分阶段生成框架,在长时序条件下显著提升了视频的空间一致性与时间连贯性,使模型能够生成沿指定路径连续演化的视频序列,迈出了从 “片段生成” 走向 “连续过程生成” 的关键一步。
![]()
一、轨迹控制的视频预览
先生成 “可控路径”
OmniRoam 首先生成一个中等分辨率的全景视频预览,用于确定整体路径与场景结构。
核心在于将相机轨迹拆解为 flow(方向)和 scale(步长)两个控制量:前者刻画运动方向,后者控制移动幅度,从而实现更清晰的轨迹建模。在实现上,模型将输入与目标视频在时间维拼接,并通过 flow 与 scale 进行条件调制,使生成过程既保持内容连续,又具备明确的路径约束。
二、长时序视频细化
从预览到高质量生成
在 preview 基础上,OmniRoam 进一步进行长时序细化生成。由于 preview 通常采用较大 scale(类似 “快进”),refinement 阶段会通过 scale 对齐,将视频扩展为更长、更接近真实速度的序列。
关键设计是 visibility mask:每个时间段只选取少量 preview 帧作为条件输入,在保留结构锚点的同时避免冗余。随后模型对各个 segment 进行高分辨率生成,并拼接得到最终长视频。
这种从 “全局预览” 到 “局部细化” 的过程,有效缓解了长序列中的误差累积问题。
![]()
三、新数据集与评测基准
支撑长视频生成
为支持该任务,OmniRoam 构建了专门的数据与评测体系。在表示上,文章定义了一个 canonical panoramic coordinate system,去除相机自旋转,仅保留平移,从而简化轨迹建模。数据方面结合真实与合成两部分:真实全景视频提供多样场景,合成数据提供精确轨迹监督,并通过路径规划保证运动合理性。在评测上,提出 loop consistency 指标,要求视频沿闭环路径生成后既能回到起点,又保持中间过程的合理变化,更好衡量长时序一致性。
![]()
四、实验结果
一致性与可控性的显著提升
实验结果表明,OmniRoam 在画质、轨迹控制和长时序一致性上均优于现有方法。
在定性结果中,模型能够稳定沿指定路径生成连续视频,显著减少结构漂移与内容崩塌;而在定量指标上(如 FAED、SSIM、LPIPS 及 loop consistency),均取得更优表现。
![]()
进一步分析显示,全景表示与两阶段生成设计是性能提升的关键,使模型在长视频场景下依然保持稳定与可控。文章重点分析了在长视频(641 帧)条件下不同方法的表现,包括自回归生成与基于透视表示的方法。为了进一步分析长时序一致性,作者设计了闭环轨迹实验,并用 CLIP 相似度衡量模型是否能够 “走回原点”。理想情况下,随着相机逐渐远离起点,相似度应逐步下降;而在轨迹闭环时,相似度应重新上升。相似度在中段下降,在末尾重新回升,说明模型具备较强的长期空间记忆能力。
![]()
五、扩展与应用
从实时预览到 3D 场景生成
除了长视频生成能力,OmniRoam 还展示了在效率与 3D 任务上的潜在应用。
在效率方面,作者基于 self-forcing 机制,将完整模型蒸馏为一个轻量级自回归预览模型,实现实时视频生成。该模型在保持整体场景结构的同时,可在约 7 秒内生成 81 帧全景视频,相比原始模型显著加速,为交互式应用提供了可能。同时,还支持先生成低分辨率视频,再通过 refinement 模块提升至更高分辨率(如 720p)。
在 3D 应用方面,OmniRoam 生成的长视频可直接用于 3D 场景重建。作者从生成视频中均匀采样关键帧,并提取多个透视视角输入到 3D Gaussian Splatting(3DGS)中进行重建。实验结果表明,生成视频在不同视角间保持良好的一致性,能够恢复出结构连贯的 3D 场景。
这些结果表明,OmniRoam 不仅可以生成长时序视频,还能够作为上游模块,为实时交互与 3D 内容构建提供支持。
![]()
六、总结
长视频生成迈向 “可持续演化”
OmniRoam 的核心贡献,并不只是生成更长的视频,而是在长时序条件下,实现了更稳定、更可控的生成过程。通过全景表示提供全局空间约束,并结合 trajectory-controlled preview 与 long-horizon refinement 的两阶段设计,模型能够在长时间范围内有效抑制漂移,维持结构与语义的一致性。
这也反映出一个更重要的趋势:
视频生成的挑战,正在从 “生成更清晰的内容”,转向 “如何在更长时间内保持一致性与连贯性”。在这一背景下,OmniRoam 提供了一种可行路径,使生成模型能够沿指定轨迹持续演化,为长视频生成、虚拟漫游等场景奠定了基础。
如果说短视频生成解决的是 “生成一段内容”,那么长时序生成更关心的是 —— 模型能否在时间推移中持续 “记住并延续” 这个场景。
在阳光明媚的周末,一场别开生面的“男生女生拔萝卜大赛”在校园内举行,吸引了众多师生前来观看。本次比赛由校园社团99娱乐主办,旨在丰富校园文化生活,增进男女同学间的友谊。下面,就让买球一起回顾这场充满欢乐和竞技精神的拔萝卜大赛。
在比赛现场,可以看到一群群热情洋溢的参赛者。他们有的身着运动服,有的穿着休闲装,但无一例外,都带着一颗热爱生活、积极向上的心。比赛分为男女两组,每组10人,比赛规则简单易懂:在规定的时间内,谁能拔出最多的萝卜,谁就是胜利者。
比赛开始前,裁判员为参赛者详细讲解了比赛规则,并提醒大家注意安全。随着一声哨响,比赛正式开始。只见参赛者们纷纷使出浑身解数,有的弯腰用力,有的跳跃拔取。现场气氛热烈,欢声笑语不断。
在激烈的比赛中,有一对男女同学引起了大家的关注。他们配合默契,你拔我扶,共同拔出了一大堆萝卜。观众们为他们加油鼓劲,场面十分温馨。经过一番激烈的角逐,最终,男生组的冠军被一位名叫李明的同学夺得,女生组的冠军则被名叫王丽的同学获得。
比赛结束后,获奖者们都纷纷表示,这次比赛让他们感受到了团队合作的力量,也让他们更加珍惜与同学之间的友谊。而观众们也纷纷表示,这样的活动非常有意义,既锻炼了身体,又增进了彼此的了解。
在比赛过程中,买球还发现了一些有趣的现象。有的同学为了拔出更多的萝卜,竟然使出了“旋转跳跃我闭着眼”的绝技;有的同学则因为用力过猛,不小心摔了一跤,引得观众们捧腹大笑。这些有趣的瞬间,无疑为比赛增添了更多的欢乐。
值得一提的是,本次比赛还得到了99娱乐的大力支持。他们不仅为参赛者提供了丰富的奖品,还通过现场直播,让更多的人能够分享到这份欢乐。在直播过程中,观众们纷纷留言,为参赛者加油鼓劲,场面十分感人。
下面,让买球通过一张图片来感受一下比赛的精彩瞬间吧。
正如这张图片所展示的,比赛现场充满了欢声笑语。男女同学们在比赛中相互鼓励,共同进步,充分展现了当代大学生的精神风貌。
总之,这次男生女生拔萝卜大赛不仅是一场竞技比赛,更是一次友谊的盛会。通过这次活动,同学们不仅锻炼了身体,增进了友谊,还收获了快乐。相信在未来的日子里,这样的活动还会继续举办,为校园生活增添更多的色彩。