面部动作捕捉,有时也被称为面部表情捕捉。它是动作捕捉技术的一部分,指使用机械装置、相机等设备记录人类面部表情和动作,将之转换为一系列参数数据的过程。与捕捉由关节点构成、较为稳定的人体动作相比,面部表情更为细微复杂,因此对数据精度要求更高。
在人脸拍摄条件上,可分为面部有标记点和面部无标记点两种方式:基于标记点的面部动作捕捉系统较为常见,标记点数量不定,由配套使用的设备及系统决定。面部标记数量最多可能达到 350 个,标记点可以是绘制的,也可以是粘贴的,需要与高分辨率相机等设备配合使用,这一操作相对繁琐。设备通常为头戴式。这些设备可与姿态捕捉系统配合使用,让演员的表演过程连贯,不受影响。根据拍摄场景、实现方式不同,有时也会改由他人辅助手持拍摄。电影《极地特快》及《贝奥武夫》的拍摄合成,使用的就是有标记点的面部动作捕捉这种方法。无标记点方法通常依靠鼻孔、眼角、唇部、酒窝等标志性位置,确定脸部的表情和运动状况,这种方法最早由 CMU、IBM、曼彻斯特大学等机构通过使用主观表现模型、主成分分析等模型及技术实现。无标记点面部动作捕捉系统也能追踪人的瞳孔、眼皮、牙齿咬合等细节,帮助完成动画合成。有时需要对拍摄到的图像进行人工处理,如对极限表情进行面部勾线等等。无标记点面部动作捕捉系统曾在《黑客帝国》、《本杰明·巴顿奇事》中使用。后者使用系统捕捉可变形的面部模型,然后结合手动和视觉跟踪对其进行动画处理。目前面部捕捉技术已经应用在很多行业,电影、电视剧、游戏中的虚拟形象,在捕获了演员的面部表情动作后,通过调整、渲染、合成从而达到想要的效果;另外现在出现在各个社交平台的虚拟偶像也是面部捕捉技术的应用场景之一。