FACEGOOD 提出高精度表情解算算法

|2021-07-21T00:31:17+08:006月 3rd, 2021|Design|

前言 表情动画方面在ilm、weta digital等为首的特效公司目前都已经在使用肌肉了,这里说的表情肌肉不是ziva dynamics那种计算果冻效果的,例如在用力摇头的时候,口轮轧肌会抖动,这类高频motion就是果冻效果,利用有限元分析可以对这类弹性力学现象仿真,ziva的肌肉是基于这类理论实现的。表情动画的肌肉方案有两个路线,根据人脸从内到外建立肌肉模型,解决肌肉运动后,再推算出皮肤的形变,最终产生表情,理论上,只要肌肉的运动足够接近真实,这种做法的效果是最好的,在2016年研究过这个方向,有篇论文做了一些初步研究:http://run.usc.edu/cs520-s12/facial/facial-survey.pdf。当时判断这个方向太理想化,难度非常大,就放弃继续深入了,而且目前看起来学术界在这个方向上也没有继续发展。第二个路线,也就是我们目前采用的路线,ilm跟weta digital也用了同样的技术路线,在alita、avenger、the planet of apes里面大放异彩,效果甩blendshape动画好几个维度,我简单介绍一下思路,人的同一个表情,在每次出现时幅度跟形状都是不同的,我们只要保证计算出来的表情跟实际误差最够小,就可以接近演员的表情了,怎么做到这一点呢? 传统绑定的问题 我们先看一下Blendshape绑定的问题,bs绑定有个巨大缺陷,就是我们假设了人的每个表情只是幅度的不同,形状都是一样的。但实际情况是,同一个表情,每次做的时候形状也是不同的,如果微分到人脸上的每个点,这个解基本上是无穷的。试图解决这个问题,只能把bs数量放大,但实际上到了几百个bs后人工绑定的要求就非常高了,1k以上的绑定需要手艺很好的老师傅才能完成,而且国内这种人非常少,国外的绑定成本高得离谱,而且最终问题还是解决不了,因为bs动画无论加到多少,它都是一维的。 粗暴一点,拿iphonex举个例子,51个bs,bs动画的数学原理就是对这些表情求和,最终得出表情,每次只是变化幅度不一样,形状完全一样,线性组合嘛,问题就在这个线性,每次变化都是一维的,就算加到10w个bs,它也是一维的。给出公式: F(w)是最终表情,Base是自然pose,对其余表情求和,w就是权重,很显然这个过程是线性的。第一代表情捕捉技术就是对w求值,这个公式的逆过程,因此像facegood P1、faceware、dynamixyz这类产品非常依赖于绑定,绑定做不好,算出来的表情是没法看的。上面指出了bs绑定的理论缺陷,但也并非bs完全没用,我们的解决方案是这样的,在bs绑定的基础上计算了一次肌肉,保留bs主要是为了方便动画师对动画二次加工,保留bs绑定,看一下我们是怎么解决这个缺陷的。 首先第一步是bs权重的计算,bs绑定,w的计算就是表情捕捉要计算的结果,计算公式就是求和公式的逆过程,把上面换个形式,如下图: faceware跟dynamixyz在算这个权重w的时候也是有很大缺陷的,给到一个视频后,需要用户k几个关键pose,然后跟当前帧做线性回归,当用户k的pose超过个位数后,回归的结果会变得混沌,精度变得非常差,这就是为什么当台词多的时候,尤其是对白超过30秒后,效果非常差,另外还有个致命弱点,因为是根据pose来推算权重w,就导致人脸的局部肌肉的运动是算不出来的,例如苹果肌,一般只能由嘴部表情联动,这种效果是不精确的,容易导致僵尸脸。 FACEGOOD 方案 我们的做法是不用用户k关键pose,我们根据当前表情,计算出所有bs的权重,最终得出当前表情的粗解,如上图公式。为什么叫粗解,因此此时的结果是无法完全匹配到演员的,原因我们开始已经解释过了,人的表情,每次的形状都是有差异的,bs只记录的某个时刻的外观。我们要做的就是在bs权重计算完之后再做一次修正,如下图: 此时计算完bs权重后,可以看到内嘴唇是没有完全匹配到演员的,我们在这个基础上计算肌肉,这一步已经完全脱离了bs的一维线性空间变成顶点动画了。 肌肉计算完后,可以看到嘴唇已经完全匹配了,这时bs动画变为顶点动画,这是全自由度解,完美匹配真人的表情。尤其是细微的、高频的微表情,例如嘴唇的粘连、眼轮匝肌四周微小高频的motion等。第一步bs权重的粗算得到了八九不离十的大表情,最终算完肌肉后,演员的“神情”就被计算出来了,尤其是眼睛中的情绪,都可以还原,下图为完整算法。 以下这种级别的匹配度,可以说100%匹配,bs绑定就算细分到1k也是做不到的。因为人的维表情变化是无穷的,表演的灵魂恰恰都在这些微表情中。