Blog2016-08-04T08:17:59+08:00

The Avada Sports

Active Maters

This is our corner of the world to discuss all things active. You can read up on the latest fitness, lifestyle, nutrition, and mind & body news here.

FACEGOOD集结全球元宇宙创业者加速赋能

May 24th, 2022|

FACEGOOD MIP 加速计划已正式启动! (Metaverse Inception Program) FACEGOOD正面向全球3D内容制作方向(游戏、影视动画、虚拟数字人等)招募MIP成员!! 我们将为初创团队及个人提供工具、资源和机会,包括产品支持、技术支持、市场宣传、融资及业务对接等多项扶持。为加速初创团队的成长,鼓励其将技术拓宽更多的应用场景! FACEGOOD将针对MIP正式成员提供价值千万元产品扶持其创业。 (扫码申请,即刻申请加入)愿与初创伙伴们一起携手共进!加速福利包产品支持:1. 软硬件免费租借、赠送、折扣采购等多种形式。2. 优先享有FACEGOOD最新技术成果测试名额。3. 新产品推向市场前提供给初创团队使用。技术支持:1. 优先提供技术咨询快速通道。2. 免费的在线培训名额。3. 不定期邀约国内外顶尖行业专家、技术专家进行指导。市场宣传:1. 探访幕后创业故事免费宣传,论坛、展会、赛事活动、政府及产业活动中展示机会。2. 可受邀参与FACEGOOD组织的全球各类线上+线下交流活动(技术沙龙、技术研讨会、开发者大会等),分享和演讲展示。 融资或业务对接:FACEGOOD将为优秀团队或项目进行业务对接、融资对接。(可获百万级业务对接)申请条件地区:全球。类型:3D内容制作方向(游戏、影视动画、虚拟数字人等)的个人创作者或初创团队。费用:无需申请费、会员费,可免费申请。非Avatary用户也可参与。

中国传媒大学 | FACEGOOD为“数字艺术领军人才实验班”助力

April 11th, 2022|

2022年2月由中国传媒大学动画与数字艺术学院发起的中传-腾讯“数字艺术领军人才实验班”面向中国传媒大学全日制本科大学三年级学生以及在读研究生招收45名优秀学生,在行业专家、高校名师与腾讯IEG互动娱乐事业群的带领下进行为其一年半的专业学习与实践。 近期“数字艺术领军人才实验班”正式启动课程,FACEGOOD受邀从面部表情制作全流程技术为切入点,为学生们普及了当下关于面部表情制作的最新技术研发成果和技术原理,围绕当今前数字艺术行业沿领域全真互联网(元宇宙)、虚拟制片、数字虚拟人、3A游戏等场景,如何让面部捕捉技术应用到实际创作场景中,以及针对在不同创作场景中面部表情制作的难点进行讲解和教学。 FACEGOOD官方讲师黄佳豪老师对45位优秀学生进行了为期两天的教学互动。 FACEGOOD此次课程回顾 Avatary软件基础功能介绍 Avatary离线流程原理讲解 Avatary离线流程——不同模型的案例讲解 Avatary中【Track】跟踪点与人脸结构布线讲解 Avatary中【Autoface】自动生成表情体 Avatary中【Rigger】快速绑定流程+手动修改模型 互动环节 继去年FACEGOOD走进清华大学、中央美术学院、中国传媒大学进行宣讲后,受到各校师生的关注,FACEGOOD今年将陆续在高校开展更深入的课程教学活动,走进更多的院校,将结合以往在行业内的经验积累,为高校培养未来数字艺术复合型人才贡献自己一份力量,也将为高校的课题研究、课程改革、专业实训等方面助力。

FACEGOOD正式开源Audio2Face技术,为开发者助力

January 21st, 2022|

序文 目前元宇宙热潮下,AI数字人也开始涉及众多领域,包含文娱、服务、教育、营销等,市面上出现的AI数字人包括功能型AI数字人如虚拟助手、虚拟导游、虚拟客服等;陪伴型AI数字人,如虚拟伴侣、虚拟家属等;社会型AI数字人,如虚拟主播、虚拟偶像、虚拟教师、虚拟医生、虚拟导购等。 (浦发银行的首位银行业数字员工“小浦”) (虎牙AI数字人晚玉) (搜狐新闻客户端联合搜狗推出的首个明星“AI数字人”主播) 为了实现虚拟数字人的多域化渗透,让更多AI数字人的场景落地,FACEGOOD决定将语音驱动口型的算法技术正式开源,这是AI虚拟数字人的核心算法,技术开源后将大程度降低AI数字人的开发门槛。FACEGOOD表示元宇宙底层技术需要更多的开发者共同携手支撑,技术的发展离不开广大开发者的推动,与开发者们共同探索、建设全新的数字人领域的技术生态,未来愿与广大开发者共同分享、一起拓新。开源项目地址:https://github.com/FACEGOOD/FACEGOOD-Audio2Face 项目背景 2019年第十届中国国际新媒体短片节组委会和FACEGOOD联合发布陆川导演AI数字人。 (图为陆川导演AI数字人形象) (图为中国国际短片节现场AI数字人陆川与观众实时交流) 观众可以和AI数字陆川面对面互动交流,为观众带来打破虚拟空间和现实空间次元壁的实时实感交流互动体验。为了能达到实时交互的效果,FACEGOOD 开发了一套数字人实时语音交互系统,实现了语音到表情动画的实时转换,今日FACEGOOD宣布将全套语音驱动表情的技术代码开源,无偿提供给广大数字人开发者使用。该技术可以将语音实时转换成表情blendshape动画。这样做的原因是在现行的产业中,用BS去驱动数字形象的动画表情仍然是主流。方便动画艺术家对最终动画产出最艺术调整,传输的数据量小,方便动画在不同的数字形象之间进行传递等等。基于这一些实际生产中的需求,对输入和输出数据做了相应的调整,声音数据对应的标签不再是模型动画的点云数据而是模型动画的blendshape权重。最终的使用流程如下图一所示: 图一 在上面的流程中,FACEGOOD主要完成Voice2Face部分,ASR,TTS由思必驰智能机器人完成。如果你想用自己的声音,或者第三方的ASR,TTS可以自行进行替换。当然FACEGOOD Audio2Face部分也可根据自己的喜好进行重新训练,比如你想用自己的声音或其它类型的声音,或者不同于FACEGOOD使用的模型绑定作为驱动数据,都可以根据下面提到的流程完成自己专属的动画驱动算法模型训练。 那么Audio2Face这一步的Framework是什么样呢?我们怎么去制作自己的训练数据呢? 图二 如图二所示。 常规的神经网络模型训练大致可以分为三个阶段:数据采集制作,数据预处理,数据模型训练。 第一阶段,数据采集制作。这里主要包含两种数据,分别是声音数据和声音对应的动画数据。 声音数据主要是录制中文字母表的发音,以及一些特殊的爆破音,包含尽可能多中发音的文本。而动画数据就是,在maya中导入录制的声音数据后,根据自己的绑定做出符合模型面部特征的对应发音的动画。 第二阶段,主要是通过LPC对声音数据做处理,将声音数据分割成与动画对应的帧数据,及maya动画帧数据的导出。 第三阶段就是将处理之后的数据作为神经网络的输入,然后进行训练直到loss函数收敛既可以。 开源是FACEGOOD团队初心,未来FACEGOOD会坚持践行开源运动,推动行业技术发展,为开发者带来更多好用的技术,推动建设FACEGOOD开发者社区。 欢迎广大同行咨询及探讨,共同分享、学习、交流。开源技术交流可加FACEGOOD官方微信 FACEGOOD_CHINA  

FACEGOOD获邀加入英伟达初创加速计划

June 23rd, 2021|

赋能全球3D内容创作者 FACEGOOD加入NVIDIA(英伟达)发起的“英伟达初创加速计划NVIDIA Inception” 2021年6月,FACEGOOD获邀加入由全球GPU(图形处理器)巨头、人工智能计算的行业领袖——NVIDIA(英伟达)发起的“英伟达初创加速计划NVIDIA Inception”。 NVIDIA(英伟达)在1999年发明的GPU激发了PC游戏市场的增长,重新定义了现代计算机显卡,并且对并行计算进行了革新。最近,通过将GPU作为可以感知和理解世界的计算机、机器人乃至自动驾驶汽车的大脑,GPU深度学习再度点燃了全新的计算时代——现代人工智能”。 英伟达初创加速计划 NVIDIA Inception 是英伟达提供的一个加速人工智能创业公司发展的全球生态项目,该项目培养尖端的人工智能初创企业,为各个行业带来革命性的变化。作为一个免费的会员制创业加速项目,自从2016年项目启动以来,全球已经有8000多家初创公司加入该项目,中国区的会员公司已经超过800家,分布在全国30多个城市以及30多个不同的行业。该项目联合了国内外知名的风投机构,创业孵化器,创业加速器,行业合作伙伴以及科技创业媒体等,打造人工智能创业加速生态系统,能够提供产品折扣,市场宣传,技术支持,融资平台,客户推荐等一系列服务,加速初创公司的发展。至此,FACEGOOD也有幸加入该加速计划。 FACEGOOD专注于软体技术研究与应用,以面部为核心锚点,重塑文化、娱乐内容创作方式,并逐步拓宽到更多应用领域。 FACEGOOD创建于2015年,团队在工业软件、计算力学与图形学领域具有十几年的技术积累,包括最底层的编译器开发。从2016年开始致力于研发工业级的3D表情动画软件,前期以项目合作的方式为原力、追光、网易、虎牙等动画、游戏领域的头部公司提供表情动画方面的技术支持。在开发过程中积累了10万+的人脸3D表情数据,应用AI技术深度学习、计算力学有限元法对软体进行高拟真度仿真,逐步形成了FACEGOOD以软体仿真为核心的仿真技术。   AVATARY是FACEGOOD研发的一款集成表情建模、肌肉绑定,面部捕捉及驱动的3D工业软件,可以针对动画、电影、游戏中的面部表情动画,将制作周期由原来的90天缩短到5分钟,也可以应用于虚拟偶像和虚拟直播等新兴领域,AVATARY的高精度面部捕捉技术跟踪参数达十万3D点云,属于业内先进水平。上线短短一个月内AVATARY收获了网易、腾讯、追光、原力、虎牙、玄机、虚拟影业、达瓦未来、吾立方、西山居10大用户,产品得到了头部企业认可。 FACEGOOD获邀成为英伟达初创加速计划(NVIDIA Inception)会员企业。英伟达初创加速计划为免费会员制、旨在培养颠覆行业格局的优秀 AI 初创公司。该计划联合了国内外知名的风投机构,创业孵化器,创业加速器,行业合作伙伴以及科技创业媒体等,打造人工智能创业加速生态系统,能够提供『产品折扣』、『市场宣传』、『技术支持』、赋能全球3D内容创作者FACEGOOD加入NVIDIA(英伟达)发起的“英伟达初创加速计划NVIDIA In『融资平台』、『客户推荐』等一系列服务,加速初创公司的发展。

横向各向同性软组织的本构方程及有限元实现

June 3rd, 2021|

前言 软组织的力学研究在近几十年内已经成熟,各种理论层出不穷,但总体来讲经历了三个阶段: 第一阶段,1940年Mooney提出了一个具有很强变形能力的超弹性材料的力学模型,1948年Rivlin对它做了改良,也就是现在流行的Mooney-Rivlin超弹性模型,目前对于超弹性材料的仿真都使用了Mooney-Rivlin。 第二阶段,1994年,Jeffrey Weiss 定义了纤维增强型Mooney-Rivlin,通过向量场控制当前构型的变形,这个理论为肌肉的力学仿真奠定了基础,并发表了论文(他博士读了九年,都在搞这个)。 第三阶段,2003年-2018年,在斯坦福大学跟工业光魔的共同努力下,肌肉仿真成功在数字人上应用,大幅提升了数字形象的真实感,目前 Ziva Dynamics,FACEGOOD 等公司也是类似技术路线。 我在2016年看到了Weta Digital一篇专访,放了这段肌肉仿真的视频( Weta Digital Horse FEM Simulation)它们从内到外做了一匹“真马”:骨骼层->肌肉层->筋膜层->脂肪层->皮层,深深被其震撼,了解到他们用到了有限元法(FEM),随后就沉迷这个技术了。我个人来讲喜欢写一些有难度的玩意,编译器、虚拟机、3D引擎、渲染器、物理引擎之类的都写过,这么牛逼的物理引擎不搞一下自然心痒得很,很幸运,是兴趣又跟自己的创业方向吻合,肌肉仿真的研发就这样开始了。刚开始对计算力学一窍不通,只好从头学起,一开始就像个无头苍蝇学习路线比较乱,有限元的书买了一堆,发现它只是个数值工具,想搞明白原理需要先看力学,力学里面又有经典力学、理论力学、固体力学、结构力学、材料力学、弹性力学,不知道从哪里出发,于是干脆全都看了一遍,最后范围逐渐缩小,聚焦之后学习起来自然就很高效了,现在已经在手撸有限元的C++实现了。 图(2)计算力学知名学者吴建营老师(左) 2017年FACEGOOD上线了表情捕捉产品,但当时对计算力学方向还是很迷惘,有幸遇见了吴建营老师,我把这个课题给他看了之后他给的反馈是“都是技术问题,没有理论问题,但是工程化方面人才比较缺”。听了这一番话我反倒是觉着靠谱了,工程化是我们的专长,这些年一直在做工程化的急先锋。FACEGOOD 搞仿真主要是提升数字人的真实感,例如只有从力学上模拟表情产生的全过程才能做到Physically Correct,这里面最核心的是解决人体软组织的力学建模问题,也就是需要得到韧带、肌腱、脂肪、皮层等软组织的精确力学模型。本文主要介绍软组织的数学建模以及其有限元的实现,读者需要具备变分法(Caculus of Variations)、计算力学(Computional Mechanics)、有限元法(Finite Element Method)等知识,熟悉横向各向同性(Transverse Isotropy)、不可压缩超弹性材料的应力、弹性张量等理论特性。按照本栏目一向硬核风格,直接给出完整思路,最后附上一段小DEMO。 认识韧带与肌腱 图(3) 人体有206块骨头,大部分骨头是不能直接向接触的,这样会有很大的摩擦,也没法运动。骨与骨之间并没有榫卯结构,也没有机械齿轮,把骨与骨连结起来的就是韧带和关节。从解剖学角度讲,韧带是骨与骨之间的直接连结,指的就是连接骨与骨之间的致密结缔组织。 每一块骨骼肌都分成肌腹和肌腱两部分,肌腹由肌纤维构成,色红质软,有收缩能力,肌腱由致密结缔组织构成,色白较硬,没有收缩能力。肌腱为肌肉末端的结缔组织纤维索,肌肉藉此附着于骨骼或其它结构。 材料初步(超弹性,横向各向异性的Strain Energy方程推导) 大部分生物材料的力学特性都是各向同性的,他们对载荷的变形反应取决于材料的分布方向,这种材料变形行为是材料内部超微小结构造成的结果,也就是跟纤维束有关,最常见的是胶原纤维、弹性纤维。弹性纤维主要存在于韧带和脉管壁,它与胶原纤维共同存在, 赋予组织以弹性和抗张能力。弹性纤维如同橡皮带一样,它的长度能够伸展到正常长度的几倍,当收缩时又能恢复到原始长度。组织的弹性则是通过改变散布在弹性纤维中胶原的数量来控制。 图(4)肌肉结构 [...]

FACEGOOD 提出高精度表情解算算法

June 3rd, 2021|

前言 表情动画方面在ilm、weta digital等为首的特效公司目前都已经在使用肌肉了,这里说的表情肌肉不是ziva dynamics那种计算果冻效果的,例如在用力摇头的时候,口轮轧肌会抖动,这类高频motion就是果冻效果,利用有限元分析可以对这类弹性力学现象仿真,ziva的肌肉是基于这类理论实现的。表情动画的肌肉方案有两个路线,根据人脸从内到外建立肌肉模型,解决肌肉运动后,再推算出皮肤的形变,最终产生表情,理论上,只要肌肉的运动足够接近真实,这种做法的效果是最好的,在2016年研究过这个方向,有篇论文做了一些初步研究:http://run.usc.edu/cs520-s12/facial/facial-survey.pdf。当时判断这个方向太理想化,难度非常大,就放弃继续深入了,而且目前看起来学术界在这个方向上也没有继续发展。第二个路线,也就是我们目前采用的路线,ilm跟weta digital也用了同样的技术路线,在alita、avenger、the planet of apes里面大放异彩,效果甩blendshape动画好几个维度,我简单介绍一下思路,人的同一个表情,在每次出现时幅度跟形状都是不同的,我们只要保证计算出来的表情跟实际误差最够小,就可以接近演员的表情了,怎么做到这一点呢? 传统绑定的问题 我们先看一下Blendshape绑定的问题,bs绑定有个巨大缺陷,就是我们假设了人的每个表情只是幅度的不同,形状都是一样的。但实际情况是,同一个表情,每次做的时候形状也是不同的,如果微分到人脸上的每个点,这个解基本上是无穷的。试图解决这个问题,只能把bs数量放大,但实际上到了几百个bs后人工绑定的要求就非常高了,1k以上的绑定需要手艺很好的老师傅才能完成,而且国内这种人非常少,国外的绑定成本高得离谱,而且最终问题还是解决不了,因为bs动画无论加到多少,它都是一维的。 粗暴一点,拿iphonex举个例子,51个bs,bs动画的数学原理就是对这些表情求和,最终得出表情,每次只是变化幅度不一样,形状完全一样,线性组合嘛,问题就在这个线性,每次变化都是一维的,就算加到10w个bs,它也是一维的。给出公式: F(w)是最终表情,Base是自然pose,对其余表情求和,w就是权重,很显然这个过程是线性的。第一代表情捕捉技术就是对w求值,这个公式的逆过程,因此像facegood P1、faceware、dynamixyz这类产品非常依赖于绑定,绑定做不好,算出来的表情是没法看的。上面指出了bs绑定的理论缺陷,但也并非bs完全没用,我们的解决方案是这样的,在bs绑定的基础上计算了一次肌肉,保留bs主要是为了方便动画师对动画二次加工,保留bs绑定,看一下我们是怎么解决这个缺陷的。 首先第一步是bs权重的计算,bs绑定,w的计算就是表情捕捉要计算的结果,计算公式就是求和公式的逆过程,把上面换个形式,如下图: faceware跟dynamixyz在算这个权重w的时候也是有很大缺陷的,给到一个视频后,需要用户k几个关键pose,然后跟当前帧做线性回归,当用户k的pose超过个位数后,回归的结果会变得混沌,精度变得非常差,这就是为什么当台词多的时候,尤其是对白超过30秒后,效果非常差,另外还有个致命弱点,因为是根据pose来推算权重w,就导致人脸的局部肌肉的运动是算不出来的,例如苹果肌,一般只能由嘴部表情联动,这种效果是不精确的,容易导致僵尸脸。 FACEGOOD 方案 我们的做法是不用用户k关键pose,我们根据当前表情,计算出所有bs的权重,最终得出当前表情的粗解,如上图公式。为什么叫粗解,因此此时的结果是无法完全匹配到演员的,原因我们开始已经解释过了,人的表情,每次的形状都是有差异的,bs只记录的某个时刻的外观。我们要做的就是在bs权重计算完之后再做一次修正,如下图: 此时计算完bs权重后,可以看到内嘴唇是没有完全匹配到演员的,我们在这个基础上计算肌肉,这一步已经完全脱离了bs的一维线性空间变成顶点动画了。 肌肉计算完后,可以看到嘴唇已经完全匹配了,这时bs动画变为顶点动画,这是全自由度解,完美匹配真人的表情。尤其是细微的、高频的微表情,例如嘴唇的粘连、眼轮匝肌四周微小高频的motion等。第一步bs权重的粗算得到了八九不离十的大表情,最终算完肌肉后,演员的“神情”就被计算出来了,尤其是眼睛中的情绪,都可以还原,下图为完整算法。 以下这种级别的匹配度,可以说100%匹配,bs绑定就算细分到1k也是做不到的。因为人的维表情变化是无穷的,表演的灵魂恰恰都在这些微表情中。

Join Today

Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam.

Go to Top