在计算机图形学的世界里，人们数十年来始终在努力追求创造出逼真的数字人类。这一目标已初步得到实现：许多人已成功制作出使人难辨真假的静态数字人类图像。但通常，如果利用这些角色进行表演，恐怖谷效应就会逐渐显现——这在需要实时渲染的情况下尤为明显。
Epic Games旗下的MetaHuman团队（包括数字人类创新公司3Lateral和Cubic Motion）承担起了改变这一切的使命。他们先是推出了MetaHuman Creator，让每个人都能创造逼真的数字人类。随后，他们将这项技术向前推进了一步，允许人们使用网格体转MetaHuman功能，根据角色的雕刻数据或现有人物的扫描数据创建MetaHuman。
在最近的版本中，该团队推出了MetaHuman Animator。借助此项功能，人们只需使用立体头戴式摄像机（甚至一台iPhone），就能捕捉演员的表演，并在几分钟内将表演转化为MetaHuman的高保真面部动画。MetaHuman Animator会在数字角色上如实重现演员表演中的所有细微之处——在以前，这需要专家团队花费数月时间才能完成。
在开发过程中，为了彻底挖掘MetaHuman Animator的潜力，塞尔维亚的3Lateral团队与当地美术师及电影制作者合作，制作了短片《Blue Dot》。该短片由著名演员RaPoje Bukvić提供表演，摄影师Ivan Šijak担任摄影指导。包括头发在内的整个序列都由虚幻引擎渲染，能够实时运行。
这部影片展示了MetaHuman Animator如何赋予团队新能力，让他们能够利用传统电影制作中的典型现场创作流程，对表演进行指导和捕捉，进而创作出具有超高保真度和强烈震撼感的影片画面。更重要的是，动画不仅开箱即用，而且质量极高，只需要一支小型动画师团队就能完成最后的打磨。
在数字制片中引入传统电影制作技术
为了启动该项目，3Lateral使用其定制的4D扫描技术采集了Bukvić的肖像数据。虽然3Lateral团队根据这些数据创建了定制的MetaHuman绑定，但对于任何数字角色，包括使用MetaHuman Creator或网格体转MetaHuman功能创建的角色，只要其面部绑定使用了与MetaHuman面部描述标准相符的控制逻辑，你就可以为其套用MetaHuman Animator根据表演捕捉创建的动画数据。尽管该作品将完全使用数字技术制作，但在整个过程中，Šijak及其团队从传统电影制作中借鉴了大量经验。
为了完全按照实景拍摄的标准设计光照，他们引入了物理光源，并对其做出调整，以获得他们想要在Bukvić身上实现的外观。在演员离开动作捕捉现场之前，他们就可以在虚幻引擎中以数字方式重现选定的光照设置，以便快速预览光照是否与Bukvić的动画MetaHuman搭配，然后在需要的情况下立即重新进行拍摄。当然，数字光照有一点与物理光照不同，人们可以事后对其做出调整。Šijak并没有忽视这些好处。
“即使现场并不存在光照，只要在这样的环境中工作，你就能看到光照在演员身上的效果，并在事后做出调整。”他说，“感觉很自然，工作流程也非常顺利。”
为了增加真实感，他们还将配有滑轨的实体电影摄像机搬进了动作捕捉摄影棚。这些摄像机以及Bukvić的身体（当然还有他的面部）都会被追踪。有了这些准备工作，团队能够在虚幻引擎中精确重现摄像机的运动以及Bukvić的MetaHuman直接对着摄像机做出的表演。
“想象力是提升表演效果的关键因素之一。”他说，“只要遵从内心的情感，身体就会在镜头前不由自主地动起来。[......]在这部作品中，我试着探索了自己的内心世界，结果确实出类拔萃。”
聚焦于特写画面
动作几乎全部集中在了角色的面部，这或许是团队为自己设立的挑战。“特写镜头是电影和电影艺术的基础。”Šijak说，“观众将通过这种方式与角色交流和交换情感。一切都会在特写镜头中表达出来。”
3Lateral的业务开发主管Uroš Sikimić解释了他们如何利用这项挑战推动MetaHuman Animator的开发。“人类的面部非常复杂。”他说，“我们需要借助足够强大的工具分析所有这些信息，不能试图手动重现人类面部每一块肌肉的运动。”
3Lateral的美术总监Aleksandar Popov继续发表了看法。“眼睛显然是最重要的一个方面，”他说，“那里是决定整体印象成败的关键。因此，我们投入了大量精力，从美术角度进行设计，然后让技术完成剩下的工作。”
Bukvić的面部表演是通过一对立体头戴式摄像机录制的。随后，团队在MetaHuman Animator中使用4D解算器处理了视频以及计算出的深度数据，捕捉了表演中的每一个微妙细节和细微之处，甚至还重建了眼睛的注视动作。
有了MetaHuman Animator，只需几分钟就能看到结果。如果需要，人们还可以在虚幻引擎中进一步调整动画，实现更精细或更夸张的效果，然而，《Blue Dot》的团队发现，MetaHuman Animator输出的动画极少需要通过手动干预进行润色。
“没想到我的表演会被如此自然地重现出来。”Bukvić说，“我看到所有微小细节都被保留下来了，我当时大受震撼。”
这些结果是即时生成的，将对美术师、动画师和演员之间的迭代过程起到推动作用——这一切与表演捕捉的保真度相结合，将使MetaHuman Animator成为影片创作的强大工具。如今，动画工作室可以在片场与演员合作，利用他们的创意直觉指导表演，并将表演如实地转化为动画内容，进而创作出情感丰富的影视作品。
“输出结果的质量是如此之高，让人无法分辨它是通过这项技术制作出来的，还是使用真正的摄像机在现场拍摄的。”Šijak说，“摄影技巧、演员的表演，以及一切能让观众代入镜头的东西都被保留下来了。没有任何缺失。”
通过iPhone捕捉高质量面部动画
MetaHuman Animator的一大优点是，它不需要你拥有专业的立体头戴式摄像机或其他昂贵的硬件，只要有一部iPhone（12或以上）和一台桌面电脑，你就可以使用它。这意味着，你可以利用家中现有的设备，在虚幻引擎中使用任何MetaHuman角色创作自己的影视作品。
