jbo竞博官网|声音也能做面部识别？这个ViveX团队用AI做到了！

2023-10-24 10:02:46

随着VR产业的开枝散叶和南北成熟期，VR与众多其他技术的融合也展现了很大的应用于潜力。比如在刚完结的ViveX第三批团队DemoDay上，就经常出现了数家“毁掉”头显、只留给跟踪方案＋Tracker的企业。

RedPillLab是此次ViveX中唯一一支来自台湾的团队。而需要从数千家申请人企业中脱颖而出，正是因为公司将独家的AI技术和Tracker结合，顺利构建了低成本的全身动捕方案。在DemoDay之前，VR陀螺记者也特地与公司的两位创始人RH和Brian了解理解了背后的技术，以及亲身体验了一把随时“合体”卡通人物的经历。成本将近2万块！用AI辨识你的声音对于大多数人来说，“全身动捕”听得上去是一项十分很远和矮小上的技术。

实质上，这项本来用作影视行业的技术在近年来早已渐渐在泛娱乐产业获得应用于，比如最近大火的“虚拟世界主播”就大都使用了全身动捕，而非知道用于人工智能。在ViveTracker发售之时，其需要以低成本方式构建动作捕猎的能力也取得了不少注目。RedPillLabs正是利用了Tracker的这一特性构建了对用户身体的捕猎，同时再行通过AI展开面部表情的深度自学计算出来，从而在虚拟世界形象身上动态呈现真人表演者的动作。但RedPill最类似的一点在于，和其他通过摄像头捕猎面部表情的方案有所不同，他们自由选择捕猎用户的声音。

“我们指出声音是被很多人忽略的，”RH说道。据他讲解，公司的这套系统在通过麦克风捕捉到用户的声音之后，借由AI对声音数据展开动态的分析，然后实时在虚拟世界形象脸部分解表情。这里的表情包括两部分，一个是动态的嘴形，其他部分则通过眉毛的运动来展现出。这样的叙述不已让我想起了Animoji。

当然苹果使用了TOF方案，也就是通过“刘海”那处的一系列深度摄像头来构建动态的面部捕猎。但是RedPill的声音方案知道靠谱吗？从记者的体验来看，声音转化成面部表情的效果竟然出人意料的不俗。从视频中我们可以看见，动画人物嘴部的动作基本上和表演者的声音没延时，同时也非机械的一张一通，而是随着声音的变化在幅度上不一样。

同时，动画人物的眉毛也不会在倾听的过程中一起运动，还包括眼睛的大小也不会有大幅度的变化，这些元素交织在一起呈现虚拟世界人物表情的变化。据Brian讲解，目前世界上正在研发这类技术的仅有RedPill、英伟达和迪士尼。

英伟达技术的容许在于，必须瞄准同一个表演者的声纹和虚拟世界角色；迪士尼则必须再行即将谈的东西变为文字，再行让机器处置成虚拟世界人物脸上的动态表情。除了面部表情，RedPill通过Tracker＋Lighthouse对表演者身体动作的捕猎也早已做十分大自然。在体验的20分钟过程中，动捕没经常出现卡顿现象，站立、椅子、上前和小跑时的跟踪也没问题，肩膀和手腕也可以旋转。

由于公司的这套软件基于Unity的架构研发，因此也可以通过手柄上的按键动态转换虚拟世界演出的背景图片（视频），以及为虚拟世界角色设计武器、交互等。公司甚至还自行研发了一款手套，可以更加细致的模拟出手指的动作。Brian还谈及，目前这套方案最多可以让两位表演者同时进习动捕的演出。

但随着新一代Lightohuse的发售，接下来将不会构建4个人在10＊10平方米的空间内同时演出。而构建这些效果的前提——用户必须花费的成本非常较低。对于有Vive的用户，只需另外出售4个Tracker，以美元计算出来为400刀；对于没Vive的用户来说，目前售予一套Vive仅有须要500刀，也就是硬件成本在900刀左右。

从VR社交改向教育和直播实质上，我和RedPillLabs的CTO，也是创始人之一的Dobry早在去年7月的RISE香港展览上就有过交流。但是在9个月之前，公司还期望将这套系统用在VR社交平台上，AI技术可以通过对大数据的分析和深度自学来对Avatar的动作展开预测，数据就越多，Avatar呈现出出来的动作就不会就越大自然和合乎逻辑。

本文来源：jbo竞博官网-www.nervatek.com