My Blog2020-04-27T15:44:06+08:00

Listen

Tutoring Articles & Musings

I can tutor your child and ensure they remain proficient in their core subjects, and enjoy learning along the way. I am a time served and qualified teaching professional, and I‘m ready now to help.

Listen

Tutoring Articles & Musings

I can tutor your child and ensure they remain proficient in their core subjects, and enjoy learning along the way. I am a time served and qualified teaching professional, and I‘m ready now to help.

FACEGOOD获邀加入英伟达初创加速计划

赋能全球3D内容创作者 FACEGOOD加入NVIDIA(英伟达)发起的“英伟达初创加速计划NVIDIA Inception” 2021年6月,FACEGOOD获邀加入由全球GPU(图形处理器)巨头、人工智能计算的行业领袖——NVIDIA(英伟达)发起的“英伟达初创加速计划NVIDIA Inception”。 NVIDIA(英伟达)在1999年发明的GPU激发了PC游戏市场的增长,重新定义了现代计算机显卡,并且对并行计算进行了革新。最近,通过将GPU作为可以感知和理解世界的计算机、机器人乃至自动驾驶汽车的大脑,GPU深度学习再度点燃了全新的计算时代——现代人工智能”。 英伟达初创加速计划 NVIDIA Inception 是英伟达提供的一个加速人工智能创业公司发展的全球生态项目,该项目培养尖端的人工智能初创企业,为各个行业带来革命性的变化。作为一个免费的会员制创业加速项目,自从2016年项目启动以来,全球已经有8000多家初创公司加入该项目,中国区的会员公司已经超过800家,分布在全国30多个城市以及30多个不同的行业。该项目联合了国内外知名的风投机构,创业孵化器,创业加速器,行业合作伙伴以及科技创业媒体等,打造人工智能创业加速生态系统,能够提供产品折扣,市场宣传,技术支持,融资平台,客户推荐等一系列服务,加速初创公司的发展。至此,FACEGOOD也有幸加入该加速计划。 FACEGOOD专注于软体技术研究与应用,以面部为核心锚点,重塑文化、娱乐内容创作方式,并逐步拓宽到更多应用领域。 FACEGOOD创建于2015年,团队在工业软件、计算力学与图形学领域具有十几年的技术积累,包括最底层的编译器开发。从2016年开始致力于研发工业级的3D表情动画软件,前期以项目合作的方式为原力、追光、网易、虎牙等动画、游戏领域的头部公司提供表情动画方面的技术支持。在开发过程中积累了10万+的人脸3D表情数据,应用AI技术深度学习、计算力学有限元法对软体进行高拟真度仿真,逐步形成了FACEGOOD以软体仿真为核心的仿真技术。   AVATARY是FACEGOOD研发的一款集成表情建模、肌肉绑定,面部捕捉及驱动的3D工业软件,可以针对动画、电影、游戏中的面部表情动画,将制作周期由原来的90天缩短到5分钟,也可以应用于虚拟偶像和虚拟直播等新兴领域,AVATARY的高精度面部捕捉技术跟踪参数达十万3D点云,属于业内先进水平。上线短短一个月内AVATARY收获了网易、腾讯、追光、原力、虎牙、玄机、虚拟影业、达瓦未来、吾立方、西山居10大用户,产品得到了头部企业认可。 FACEGOOD获邀成为英伟达初创加速计划(NVIDIA Inception)会员企业。英伟达初创加速计划为免费会员制、旨在培养颠覆行业格局的优秀 AI 初创公司。该计划联合了国内外知名的风投机构,创业孵化器,创业加速器,行业合作伙伴以及科技创业媒体等,打造人工智能创业加速生态系统,能够提供『产品折扣』、『市场宣传』、『技术支持』、赋能全球3D内容创作者FACEGOOD加入NVIDIA(英伟达)发起的“英伟达初创加速计划NVIDIA In『融资平台』、『客户推荐』等一系列服务,加速初创公司的发展。

横向各向同性软组织的本构方程及有限元实现

前言 软组织的力学研究在近几十年内已经成熟,各种理论层出不穷,但总体来讲经历了三个阶段: 第一阶段,1940年Mooney提出了一个具有很强变形能力的超弹性材料的力学模型,1948年Rivlin对它做了改良,也就是现在流行的Mooney-Rivlin超弹性模型,目前对于超弹性材料的仿真都使用了Mooney-Rivlin。 第二阶段,1994年,Jeffrey Weiss 定义了纤维增强型Mooney-Rivlin,通过向量场控制当前构型的变形,这个理论为肌肉的力学仿真奠定了基础,并发表了论文(他博士读了九年,都在搞这个)。 第三阶段,2003年-2018年,在斯坦福大学跟工业光魔的共同努力下,肌肉仿真成功在数字人上应用,大幅提升了数字形象的真实感,目前 Ziva Dynamics,FACEGOOD 等公司也是类似技术路线。 我在2016年看到了Weta Digital一篇专访,放了这段肌肉仿真的视频( Weta Digital Horse FEM Simulation)它们从内到外做了一匹“真马”:骨骼层->肌肉层->筋膜层->脂肪层->皮层,深深被其震撼,了解到他们用到了有限元法(FEM),随后就沉迷这个技术了。我个人来讲喜欢写一些有难度的玩意,编译器、虚拟机、3D引擎、渲染器、物理引擎之类的都写过,这么牛逼的物理引擎不搞一下自然心痒得很,很幸运,是兴趣又跟自己的创业方向吻合,肌肉仿真的研发就这样开始了。刚开始对计算力学一窍不通,只好从头学起,一开始就像个无头苍蝇学习路线比较乱,有限元的书买了一堆,发现它只是个数值工具,想搞明白原理需要先看力学,力学里面又有经典力学、理论力学、固体力学、结构力学、材料力学、弹性力学,不知道从哪里出发,于是干脆全都看了一遍,最后范围逐渐缩小,聚焦之后学习起来自然就很高效了,现在已经在手撸有限元的C++实现了。 图(2)计算力学知名学者吴建营老师(左) 2017年FACEGOOD上线了表情捕捉产品,但当时对计算力学方向还是很迷惘,有幸遇见了吴建营老师,我把这个课题给他看了之后他给的反馈是“都是技术问题,没有理论问题,但是工程化方面人才比较缺”。听了这一番话我反倒是觉着靠谱了,工程化是我们的专长,这些年一直在做工程化的急先锋。FACEGOOD 搞仿真主要是提升数字人的真实感,例如只有从力学上模拟表情产生的全过程才能做到Physically Correct,这里面最核心的是解决人体软组织的力学建模问题,也就是需要得到韧带、肌腱、脂肪、皮层等软组织的精确力学模型。本文主要介绍软组织的数学建模以及其有限元的实现,读者需要具备变分法(Caculus of Variations)、计算力学(Computional Mechanics)、有限元法(Finite Element Method)等知识,熟悉横向各向同性(Transverse Isotropy)、不可压缩超弹性材料的应力、弹性张量等理论特性。按照本栏目一向硬核风格,直接给出完整思路,最后附上一段小DEMO。 认识韧带与肌腱 图(3) 人体有206块骨头,大部分骨头是不能直接向接触的,这样会有很大的摩擦,也没法运动。骨与骨之间并没有榫卯结构,也没有机械齿轮,把骨与骨连结起来的就是韧带和关节。从解剖学角度讲,韧带是骨与骨之间的直接连结,指的就是连接骨与骨之间的致密结缔组织。 每一块骨骼肌都分成肌腹和肌腱两部分,肌腹由肌纤维构成,色红质软,有收缩能力,肌腱由致密结缔组织构成,色白较硬,没有收缩能力。肌腱为肌肉末端的结缔组织纤维索,肌肉藉此附着于骨骼或其它结构。 [...]

FACEGOOD 提出高精度表情解算算法

前言 表情动画方面在ilm、weta digital等为首的特效公司目前都已经在使用肌肉了,这里说的表情肌肉不是ziva dynamics那种计算果冻效果的,例如在用力摇头的时候,口轮轧肌会抖动,这类高频motion就是果冻效果,利用有限元分析可以对这类弹性力学现象仿真,ziva的肌肉是基于这类理论实现的。表情动画的肌肉方案有两个路线,根据人脸从内到外建立肌肉模型,解决肌肉运动后,再推算出皮肤的形变,最终产生表情,理论上,只要肌肉的运动足够接近真实,这种做法的效果是最好的,在2016年研究过这个方向,有篇论文做了一些初步研究:http://run.usc.edu/cs520-s12/facial/facial-survey.pdf。当时判断这个方向太理想化,难度非常大,就放弃继续深入了,而且目前看起来学术界在这个方向上也没有继续发展。第二个路线,也就是我们目前采用的路线,ilm跟weta digital也用了同样的技术路线,在alita、avenger、the planet of apes里面大放异彩,效果甩blendshape动画好几个维度,我简单介绍一下思路,人的同一个表情,在每次出现时幅度跟形状都是不同的,我们只要保证计算出来的表情跟实际误差最够小,就可以接近演员的表情了,怎么做到这一点呢? 传统绑定的问题 我们先看一下Blendshape绑定的问题,bs绑定有个巨大缺陷,就是我们假设了人的每个表情只是幅度的不同,形状都是一样的。但实际情况是,同一个表情,每次做的时候形状也是不同的,如果微分到人脸上的每个点,这个解基本上是无穷的。试图解决这个问题,只能把bs数量放大,但实际上到了几百个bs后人工绑定的要求就非常高了,1k以上的绑定需要手艺很好的老师傅才能完成,而且国内这种人非常少,国外的绑定成本高得离谱,而且最终问题还是解决不了,因为bs动画无论加到多少,它都是一维的。 粗暴一点,拿iphonex举个例子,51个bs,bs动画的数学原理就是对这些表情求和,最终得出表情,每次只是变化幅度不一样,形状完全一样,线性组合嘛,问题就在这个线性,每次变化都是一维的,就算加到10w个bs,它也是一维的。给出公式: F(w)是最终表情,Base是自然pose,对其余表情求和,w就是权重,很显然这个过程是线性的。第一代表情捕捉技术就是对w求值,这个公式的逆过程,因此像facegood P1、faceware、dynamixyz这类产品非常依赖于绑定,绑定做不好,算出来的表情是没法看的。上面指出了bs绑定的理论缺陷,但也并非bs完全没用,我们的解决方案是这样的,在bs绑定的基础上计算了一次肌肉,保留bs主要是为了方便动画师对动画二次加工,保留bs绑定,看一下我们是怎么解决这个缺陷的。 首先第一步是bs权重的计算,bs绑定,w的计算就是表情捕捉要计算的结果,计算公式就是求和公式的逆过程,把上面换个形式,如下图: faceware跟dynamixyz在算这个权重w的时候也是有很大缺陷的,给到一个视频后,需要用户k几个关键pose,然后跟当前帧做线性回归,当用户k的pose超过个位数后,回归的结果会变得混沌,精度变得非常差,这就是为什么当台词多的时候,尤其是对白超过30秒后,效果非常差,另外还有个致命弱点,因为是根据pose来推算权重w,就导致人脸的局部肌肉的运动是算不出来的,例如苹果肌,一般只能由嘴部表情联动,这种效果是不精确的,容易导致僵尸脸。 FACEGOOD 方案 我们的做法是不用用户k关键pose,我们根据当前表情,计算出所有bs的权重,最终得出当前表情的粗解,如上图公式。为什么叫粗解,因此此时的结果是无法完全匹配到演员的,原因我们开始已经解释过了,人的表情,每次的形状都是有差异的,bs只记录的某个时刻的外观。我们要做的就是在bs权重计算完之后再做一次修正,如下图: 此时计算完bs权重后,可以看到内嘴唇是没有完全匹配到演员的,我们在这个基础上计算肌肉,这一步已经完全脱离了bs的一维线性空间变成顶点动画了。 肌肉计算完后,可以看到嘴唇已经完全匹配了,这时bs动画变为顶点动画,这是全自由度解,完美匹配真人的表情。尤其是细微的、高频的微表情,例如嘴唇的粘连、眼轮匝肌四周微小高频的motion等。第一步bs权重的粗算得到了八九不离十的大表情,最终算完肌肉后,演员的“神情”就被计算出来了,尤其是眼睛中的情绪,都可以还原,下图为完整算法。 以下这种级别的匹配度,可以说100%匹配,bs绑定就算细分到1k也是做不到的。因为人的维表情变化是无穷的,表演的灵魂恰恰都在这些微表情中。

FACEGOOD 推出10万点人脸关键点跟踪,重新定义工业级人脸3D重建

前言 目前无论是学术界还是工业界对人脸的研究有两个方向,其一民用级,通过技术泛化为用户提供低精的产品,这些技术在工业级高精度上是无法满足需要的,主要因为算法泛化丢失了人脸的低频信息(五官的细微差别)。其二工业级,从人脸生物力学仿真层面,持续提高精度,FACEGOOD走在这个方向,在技术适当泛化的基础上,其将人脸关键点跟踪推向了极致,目前已将精度推到10万级,该技术可用于工业级换脸、表情捕捉等场合。 人脸关键点检测在安防、金融、娱乐等领域具有广泛的应用,可以说已经成为非常基础的算法,我们先来回顾一下它的发展历史,Tim Cootes & Chris Taylor在1995提出了一种新的方法(Active Shape Model)开创了人脸关键点对齐的先河,ASM引入了统计模型来解决对齐问题,紧接着三年之后,他俩在此基础上发展出了Active Appreance Model,这个方法有很重的历史地位,要知道当时人脸对齐问题是个很棘手的事,传统的CV算法太粗暴,难以应付人脸这种高纬特征,AAM之后算是进入了一个正确的方向,为后来神经网络方法奠定了基础,基本思想是ASM并没有考虑到纹理特征,只是对landmark训练了一个统计模型出来,AAM进一步优化了ASM,在回归的过程中加入了纹理特征,这样就解决了特征的泛化匹配的问题,使得人脸对齐更加鲁棒。20年之后,在众多研究者不断推动下2D人脸对齐问题已经彻底解决了,算法也已经白菜化,随便在github都有大量的精度不错的开源项目。 3DMM 与此同时,在1998年有两位研究人员又开辟了一条新赛道,他们提出了3D对齐算法,将人脸对齐推向了一个全新的维度,这套方法目前已经成为现在工业界主流的算法流程,现在工业界习惯上把它叫做3DMM,虽然并不严谨,但我们姑且沿用这样一个定义,3DMM计算结果是在人脸上拟合并投影出一个3D点云,它的应用就非常丰富了,美颜、表情捕捉、通过照片生成一张人脸等等都用了类似的技术。 公式1 如上图所示基本思想是:一张脸可以由多个不同的人脸通过线性组合得出,换句话说,给出一张人脸,要得出3D模型,就是一个系数的回归问题,了解AAM的同学一眼就看出来这个公式就是AAM公式,也可以说这是AAM的另一种应用,其中S是平均脸,s是特征向量,ai是权重系数。Tmodel是用来拟合人脸纹理,同样使用线性组合得出。3DMM是一个非常初期的idea,他的计算结果并不理想,现在来看只能算玩具级,主要是PCA在精度上的丢失是很严重的。 2008年,一篇论文的发表将3DMM的精度进一步推广,公式1只采样了人脸在某一时刻的表情,因此在表情上没有考虑到其他情况,导致精度丢失。这篇论文增加了一个维度,因此叫“双线性模型”,在人脸基础上加上了表情因素,这样的计算结果更加可信。 公式2 这个双线性公式在公式1的思路上增加了一个系数a,表示不同表情,b表示不同的个体,w是人脸数据库,到此3DMM在算法流程上完整了,为日后Facewarehouse等应用奠定了基础,后面的故事大家都知道了Facewarehouse推出了自己的数据库及应用思路,讲到这里我们对前面这些研究做个总结。 3DMM缺点是很明显的,在技术泛化这条路上一路狂奔,忽略了人脸非常多的细节,尤其是高频低幅度的表情细节,在个体上体现非常明显,造成这个局面的原因有两个,基于统计的回归并不精确,是一个模糊解,3D数据库模型的采集多数用成本低廉的设备生成,精度不高,两者加起来,3DMM在高精应用场景可以说完全无法满足需求,更不可能达到工业级超高精度需要。 FACEGOOD 3DMM 图示1 BFM & SFM 模型 图示2 FACEGOOD 模型 为了更精确的计算人脸的3D信息,并能适用于工业级业务场景,FACEGOOD团队采用相机阵列方式采集了100个不同个体的3D模型,每个人有43个不同的表情,以及他们对应的高精度皮肤材质数据,至于这些数据建立了FACEGOOD [...]

深化产教融合,深职院与量子动力FACEGOOD签订产教融合战略协议

4月27日,深圳职业技术学院(以下简称“深职院”)和FACEGOOD(量子动力计算机科技有限公司)建立战略合作模式,就人才培养项目在ECO国际会议中心签订产教融合战略合作协议并为在FACEGOOD建立“实习基地”举行授牌仪式,共同从学生预就业阶段开始进行专业的靶向人才培养。深职院数字创意与动画学院李亮院长携师生代表、FACEGOOD创始人兼CEO王全伟及团队等出席仪式。 深职院李亮院长及FACEGOOD CEO王全伟 在活动仪式上,数字创意与动画学院李亮院长,介绍了学院多年的办学历程、教学科研、师资队伍、专业设置等概况,希望发挥双方各自优势,加强人才培养方面的合作, 共同培养更多的专业人才。双方表示,未来将进一步加强产学研项目合作,教材建设、影视动画制作示范中心,创新教材建设等建立长效的合作机制。 深职院数字创意与动画学院李亮院长讲话 FACEGOOD(量子动力)多年深耕数字化产业制作技术的研发,自主研发国内首个实现人脸高精度建模、绑定、驱动高效制作工具Avatary。人脸软组织力学仿真技术,打破了国外技术垄断,在表情捕捉,表情建模领域筑起坚实的壁垒。作为科技企业,FACEGOOD(量子动力)多年致力通过技术的力量,推进中国在数字创意、影视、动画、游戏制作过程中的工业化进程,大幅度提升影视、动漫等在制作环节中的效率,降低制作成本,同时能够更好服务于文化创意内容的落地。 FACEGOOD(量子动力)CEO王全伟说:“未来,在人才培养、科研教学上也将与高校携手,科技助力产业升级的意识传递到校园,为文化与科技的发展,未来复合型人才的培养,作为企业也应该为社会添砖加瓦,贡献力量。” 目前国家正在大力推行文化转型升级,实现科技和文化的融合已经变成一种趋势。相信FACEGOOD(量子动力)与深职院此次的合作也将架起高等院校、科研机构和企业之间的人才、技术、项目合作的新桥梁,深化发展以企业为主体,高校、科研机构为创新动力的合作模式,从而实现科技与经济对接、创新成果与产业对接、创新项目与现实生产力对接。在以校企主导、政府推动、行业发展的有序推进下,培养适合国家发展需要的人才培养模式正在迈向一个新的高度。

Over 12,000 5 Star Ratings

Rated 5/5 by 12,000 Students

返回顶部