从大型宇宙飞船到跳舞的外星人，酷玩乐队的音乐录影带和 BTS 最近的单曲My Universe以壮观的方式将两个世界上最的乐队聚集在一起。这是一个历史性的时刻，不仅仅是因为这首单曲是两个联合开票的头条新闻团体中个成为美国排行榜榜首的单曲。在幕后，五个 VFX 工作室正在使用体积视频——一种可以改变娱乐制作方式的技术。
在 Ingenuity Studios 的带领下，VFX 工作室使用 360 度、108 个摄像机的体积捕捉装置，从各个角度记录每位歌手的表演。使用体积捕获意味着两个超群的每个成员都被记录为类似于全息图的体积，而不是平面图像。这也意味着酷玩乐队和防弹少年团能够在视频中一起唱歌，尽管 BTS 是在韩国的绿幕上拍摄的，而酷玩乐队是在西班牙的。每位歌手的体积录音都可以从任何角度进行合成——所有这些都具有逼真的深度、颜色和灯光。
这是一个令人印象深刻的最终结果。但是，当总部位于洛杉矶的创意机构All of it Now加入竞选活动时，他们开始与酷玩的创意团队合作，将这个概念推得更远。
“我们希望将全息图带入现实世界，但需要一个活动，”All of it Now 首席执行官兼联合创始人 Danny Firpo 说。“我们的搜索使我们找到了 [NBC 的] The Voice，它拥有我们需要的所有基础设施，可以让各组完美同步地表演。”
【落地灯故障】传统全息图与体积视频
将这样一个雄心勃勃的想法变为现实的步是将实时生产构建到管道中。“我们本可以将 BTS 作为传统投影带上舞台，就像的 Tupac 全息图 Digital Domain 一样，它是用一块有角度的玻璃制成的，”All of it Now 执行制片人 Nicole Plaza 说。“但我们知道传统方法无法解决这个问题。与虚幻引擎相比，安装时间、成本和有限的视角会降低它的吸引力，而且灵活性也大大降低。”
通过将 Dimension Studios 的体积捕捉数据汇集到虚幻引擎中，团队可以轻松快速地根据物理舞台限制对 AR 表演者的位置和时间进行调整。这种速度和敏捷性对于制作来说是必不可少的，而像这样的近乎即时的变化对于 Hologauze 屏幕和Pepper 的幽灵方法几乎是不可能的。
使用实时工作流程还意味着团队可以在虚幻引擎中对整个性能进行摄像头遮挡。这不仅使乐队能够预览每个镜头背后的节奏；但帮助制作团队了解每个摄影机位置是否有足够的覆盖范围，这意味着他们可以决定拍摄需要哪些摄影机和镜头。
“最初，我们计划使用四台摄像机，但在看到我们可以实时交付的质量水平后，The Voice和 Coldplay 团队很快同意七台摄像机将进一步提高整体制作价值，”Berto Mora 解释说，All it现在是虚拟生产主管。
【落地灯故障】将想法转化为舞台
制作开始后，使用虚幻引擎运行所有七个提要的合成和播放，以及在My Universe视频拍摄中捕获的原始 BTS 体积镜头。“知道我们对所有七位表演者进行了出色的 360 度覆盖，真正打开了可能性之门，就镜头可以拍摄的镜头而言，”莫拉继续说道。“我们为每台摄影机配备了专用服务器，因此导演能够同时看到所有的画面，并像 AR BTS 成员与真正的酷玩乐队一起在舞台上一样剪辑节目。”
为了让 BTS 表演者实时上台和下台，该团队还使用虚幻引擎中的菲涅耳效果和Sequencer创建了一个“故障”效果，因此表演者可以立即将全息图呈现给观众。音乐视频的粉丝可能还记得这个样子，因为它也被用来为银河“传输”注入与我们与全息数据相关联的同样不完美的特征。
然后使用 Stype 的 Stypeland 插件来获取所有相机跟踪和镜头失真数据。这是使用Live Link录制的，因此团队可以重新渲染每个表演者独奏时刻的选定片段，并对后期特定表演者的口型同步进行帧级调整。与此同时，在舞台上，All of it Now 的团队与屡获殊荣的设计师 Sooner Routhier 合作，使用特定的落地灯来帮助酷玩乐队的音乐家识别舞台上的 AR 表演者以及时间。
【落地灯故障】实时技术的好处
像所有破坏性工作流程一样，使用体积视频也面临一些挑战。有一次，All of it Now 的团队甚至与 Microsoft 合作重写插件代码，以便 BTS 表演者资产（使用 Microsoft 的 SVF 插件作为特殊 MP4 导出提供）与 Coldplay 保持完美同步。
然而，面对这些挑战是值得的。通过使用体积捕捉数据，团队甚至能够在后期重新合成某些镜头，这变得更加容易，因为整个流程始终是为实时性能和回放而设计的。“每个视频文件都是从 Atomos Shogun 播放的，音频和视频输入到用于现场制作的同一服务器中，基本上重新创建了我们在现场的确切现场场景，”Mora 透露。
“使用这种方法，我们可以修复轻微的同步问题或修改毛刺关键帧，为每个镜头添加或减少毛刺效果。我们还使用自定义管道工具读取时间码范围，使用记录的跟踪数据查找镜头，并创建一个新序列，其中仅包含每个镜头所需的跟踪数据，这些数据需要在后期修复。与必须手动识别具有正确帧范围的镜头相比，这节省了时间，这对于后期所需的快速周转时间至关重要。
到时候的声音All of it Now 的团队对结果非常满意，他们现在正在使用 Arcturus Holosuite 探索其他体积视频应用程序的并行管道，它可以改变表演者的头部位置以“跟随”特定的跟踪摄像机。但无论他们走到哪里，听起来虚幻引擎都会与他们同在。
“虚幻引擎在这个项目的每个阶段都为我们提供了帮助，最终成为体积记录的里程碑，并为混合现实和虚拟世界应用程序开创了令人兴奋的先例，”Firpo 解释道。
他列举了使用体积视频实时回放的几个优点，例如能够捕捉高度详细的面部表情、衣橱元素和手指手势，而无需深入研究 3D 角色设计、装配和动画流程。
Firpo 继续说，这项技术提供了一个令人难以置信的机会来探索替代工作流程，同时避免“阻碍团队前进的‘恐怖谷’问题”。
“体积视频的实时播放开辟了一些巨大的可能性，”他说。“当你证明你可以录制一次并在多个应用程序中重复使用资产时，对于那些总是在思考下一件大事的艺术家来说，这是令人兴奋的。立体视频将引导他们朝一些有趣的方向发展。”
包修网