编译 | 李水青
编辑 | 心缘
智东西 6 月 18 日报道，6 月 17 日，美国 AI 视频生成创企 Runway 推出新的视频生成模型Gen-3 Alpha，支持生成10 秒左右的高质量视频。
▲提示：日本某城市高速行驶的火车窗户上，映出意味女性的微妙倒影。
Runway 于 2018 年底创立于美国纽约，是最早做 AI 视频生成模型的创企之一。然而，在其 2023 年 2 月和 6 月分别推出第一代和二代模型后，这位昔日王者就被同行压着打，OpenAI 的 Sora 和 Luma AI 上周发布的 Dream Machine，都使 Runway 此前的模型相形见绌。（《最强视频大模型易主？比 Sora 更真实还直接免费！服务器瞬间挤爆》）
时隔一年，Gen-3 Alpha 是 Runway 的反击之作。Gen-3 Alpha 的一大特点是生成的视频具有高精细度，它可以理解并生成复杂的场景和运动画面，还能胜任多种电影艺术手法。
比如在以下视频动图中，Gen-3 Alpha 收到的提示词是 " 一顶卷发假发和墨镜突然落在他的头上，悲伤的秃头中年男子变得高兴起来 "，只见生成的视频不仅准确呈现了假发和眼镜的运动路径，而且还将男士由悲到喜的情绪刻画得十分细腻。
▲提示：一顶卷发假发和墨镜突然落在他的头上，悲伤的秃头中年男子变得高兴起来
相较于 Gen-2，Gen-3 Alpha 在保真度、一致性和运动性能上都有了显著的提升，被 Runway 称为 " 构建通用世界模型道路上 " 的重要一步。如下面的视频所示，Gen-3 Alpha 可以模拟出水下色彩斑斓的珊瑚街道，不仅水下街道的建筑、动植物十分还原真实世界，甚至阳光透过水的光影效果也很逼真。
▲提示：FPV 飞行穿过水下郊区色彩斑斓的珊瑚街道。
Runway 的发言人在给外媒 VentureBeat 的邮件中提到：" 首批产品将支持 5 秒和 10 秒的视频生成，速度很快——5 秒的视频只需45 秒就能完成，10 秒的视频也仅需90 秒。"
目前，该模型的确切发布日期还未公布，Runway 仅展示了演示视频。Runway 联合创始人兼首席技术官 Anastasis Germanidis 透露，Gen-3 Alpha 将在未来几天内首先面向付费用户提供，而免费用户则要再等等。
官方地址：https://runwayml.com/blog/introducing-gen-3-alpha/
一、高保真、高精细、高运动，Runway 要打造现实世界模拟器？
按照 Runway 的说法，Gen-3 Alpha 是一个能够 " 表示和模拟各种现实场景和互动 " 的 AI 模型，是 " 向构建通用世界模型迈出的一步 "。
首先来看一下 Runway 使用 Gen-3 Alpha 制作的示例视频。
Gen-3 Alpha 支持细粒度的时间控制。其接受过高度描述性、时间密集的字幕训练，能够实现富有想象力的过渡和场景中元素的精确关键帧。
▲提示：一只蚂蚁从巢穴中爬出的特写镜头。镜头拉远，露出山丘后面的街区。
▲提示：一名宇航员正在里约热内卢的一条小巷里奔跑
Gen-3 Alpha 可以生成逼真的人类。它擅长创造具有多种动作、手势和情感的富有表现力的人类角色。
▲提示：一张电影广角肖像，一个男人的脸被电视的光照亮。
▲提示：一名女子的侧面照，远处有烟花绽放。
训练 Gen-3 Alpha 的是一支由研究科学家、工程师和艺术家组成的跨学科团队的合作成果，从而使得模型可以诠释各种风格和电影术语。
▲提示：从窗户向外看，看到一个巨大的奇怪生物在夜晚破败的城市中行走，一盏昏暗的路灯照着街区。
▲提示：一个空仓库，鲜花开始从混凝土中绽放。
▲提示：夜间手持跟踪拍摄，跟随一只脏兮兮的蓝色气球漂浮在废旧的欧洲老街地面。
▲提示：从肩膀上方拍摄一个女人奔跑并注视远方火箭的镜头。
▲提示：巨嘴鸟穿过塞伦盖蒂。
▲提示：东京的一条小巷里，一只粉红色的小猪正快速向镜头跑来。
二、结合视频图像进行训练，跨行业团队训练，本周将可访问
在职场社交平台领英上，一位 Runway 用户预计他将在本周晚些时候获得 Gen-3 Alpha 的访问权限。
这位用户在 X 平台上提到，Gen-3 Alpha" 很快就会在 Runway 产品中上线，并将支持所有现有的模式，包括文本转视频、图像转视频、视频转视频，以及一些通过更强大的基础模型才能实现的新功能。"
他还提到，自 2023 年发布 Gen-2 以来，Runway 发现 " 视频扩散模型在性能提升方面还有很大的发展空间，而这些模型在学习预测视频的任务时，已经构建出了真正强大的视觉世界表征。"
Runway 在其博客文章中提到，Gen 3-Alpha" 结合了视频和图像进行训练 "，并且 " 这是由研究科学家、工程师和艺术家组成的跨学科团队共同努力的成果 "。
Gen 3-Alpha 背后具体的数据集尚未公开，外界也不清楚这些数据是付费的的还是从网上收集的。Runway 的发言人通过电子邮件回复外媒 VentureBeat：" 我们有一个内部研究团队负责监督所有训练过程，使用的是精心挑选的内部数据集来训练模型。"
Runway 还公布，他们已经与各大娱乐和媒体组织携手合作，为 Gen-3 定制了专属版本，据称这有助于在角色风格上实现更统一的控制，并满足特定的艺术和叙事要求等。目前，定制模型的训练费用尚未公开。
结语：Runway 为 AI 视频生成大战再添一把火
Gen-3 Alpha 是 Runway 即将推出的系列模型中的首款，这些模型都在其专为多模态大模型而搭建的新基础设施上训练而来，但具体是如何训练的，以及模型关键技术仍待披露。
AI 视频生成领域的大战一触即发，继 OpenAI 的 Sora 亮相后，近期 Luma AI 刚推出的 Dream Machine、快手刚推出的可灵又掀起了一波 AI 生成视频小高潮，本次 Runway 的动作为赛道再添一把火。模型的实际使用效果如何，我们将持续关注。
本文链接：http://www.mocany.com/showinfo-1-45088-0.html宣战Sora！Runway最新视频生成模型上线，可生成10秒高保真、高动态视频
