Facebook最新ICCV成果:一样的“换脸”不一样的味道

发布时间:2019-11-13 阅读量:677 来源: 智东西 发布人: Jane

11月12日消息,Facebook在计算机视觉领域的最新研究成果,可以让机器学习模型实现面孔匿名化(anonymize faces)、即时手部动作生成(improvise hand movements)和提供穿搭建议等功能。

 

Facebook的“换脸”技术不是完全用不同的面部来“替换”,而是在原有相貌的基础上微调,从而既能实现身份隐匿又可以避免传统粗糙的“物理遮挡”(如面具)。

 

面孔匿名化所生成的AI形象看上跟真实的人像有些相似,但可能眼睛略宽一些、嘴巴略细一些、额头略高一些。下文是外媒Techcrunch对于几项成果报道的原文编译。

 

一、与Deepfake“同工”但“异曲”的人性化换脸

 

Facebook的最新研究成果,可以让机器学习模型完成许多看似对人类很简单,但是对计算机来说非常困难的任务。比如面孔匿名化、即时手部动作生成和提供可靠的时尚穿搭建议(可能是最困难的)。

 

Facebook已经在ICCV会上展示并介绍了这些成果,此外他们还发表了数十篇其他论文,大量专注于AI研究领域,尤其是计算机视觉。

 

对动态的面部进行修改是这一技术和“Deepfake”等应用程序存在关联的地方,但是Facebook的团队认为这项技术实际上是有大量潜在人性化应用场景的。

 

Deepfake通过对面部数据和特征进行详细地分析和学习,可以将一个人的表情和面部活动直接映射到一张完全不同的面孔上。虽然Facebook团队也利用了相同的面部数据和特征,但是他们会利用这些数据对面部进行微调,达到避免面部识别引擎检测的目的。

 

通过这种方式,想要既出现在视频中却又不被公众认出的人,就不用戴面具或使用完全虚假的外貌。取而代之的是,他们会看上跟真实的自己有些相似,但可能眼睛略宽一些,嘴巴略细一些,额头略高一些等等。

 

Facebook最新ICCV成果1.png 

▲面孔匿名化的过程演示

 

Facebook创建的这套系统目前可以良好的运行,但是离产品化部署还有一定距离,需要一些优化调整。不过人们可以预见到,对于那些可能遭受政治反对者报复或者渴望更多隐私的人们来说,这个功能非常实用。

 

二、AI在对话中可能会有更自然的肢体动作

 

在虚拟空间中,识别某人可能是相对困难的,因为我们缺少那些在现实生活中可以被不断感知到的非语言暗示(如肢体动作)。Facebook的另一项研究就是尝试捕获、分类和重现这些动作,至少是手部动作。

 

有趣的是,实际上关于人们说话时到底如何移动手部的数据并不多。因此,研究人员用专业运动捕捉设备记录了50个小时的普通对话过程。

 

Facebook最新ICCV成果2.png 

▲机器学习模型对于手部动作的捕捉和分析

 

然后,机器学习模型会吸收并理解这些(相对)自然的对话以及伴随的身体和手部动作。比如当人们说“那时候”时,他们会指向身后;当他们说“到处都是”时,他们会做出大范围的手势动作。

 

这项技术可以做什么?也许是在虚拟环境中进行更自然的对话,比如动画师更希望自己角色的动作是基于现实生活和对话生成的,而不是他们自己去做出来的。事实证明,Facebook所建立的数据库在规模上足够大、在细节上足够完善,这本身就具有很高的实际价值。

 

三、Fashion++——一面可以提供穿搭建议的镜子

 

Facebook的另一项比较独特的研究,就是通过机器学习模型为用户提高穿搭质量。如果我们拥有一面智能镜子,那它首先应该能够给出建议。

 

Fashion ++是一个系统,通过对大量标记的、已经具备一定整体时尚性的服装搭配(例如帽子,围巾,裙子)进行学习,可以对你给定的服装搭配方案进行分析并给出修改意见。有时建议可能非常简单,比如只是把衬衫的衣角塞进裤子里。

 

Facebook最新ICCV成果3.png 

▲Fashion++提供穿搭建议的示意图

 

这套系统远没有达到一个时尚助理的水平,但是它记录了一些早期为成功人士提出的服装穿搭建议,这些建议都是被广泛认可的。考虑到在现实中实现好的穿衣搭配是一件多么令人头疼的事,Fashion++可以达到这个程度已经令人印象深刻。

 

结语:计算机视觉向更多人性化应用场景探索

 

Facebook在ICCV发布的研究无疑表明了他们高度重视计算机视觉的潜在解决问题能力。而这些问题都是围绕现实场景展开,对人们的实际生活起到重要帮助的,可以将科技与人文相交融这个概念很好的进行诠释。

 

更快、更准确地检测照片中的人脸、断房间中物体的位置,这些都是很好的计算机视觉应用。但是生活中可能还有很多令人意想不到的地方,是可以通过一点“视觉上的智慧”来改善的,这些惊喜等待着研究者们去探索和发掘。

 

原文来自:Techcrunch

相关资讯
双面散热+5×6mm²封装:解密英飞凌如何实现IBC能效三级跳

随着AI算力需求呈指数级增长,全球超大规模数据中心对供电系统的能效与功率密度提出更高要求。英飞凌科技(FSE: IFX)最新发布的OptiMOS™ 6 80V功率MOSFET,通过5x6 mm²双面散热(DSC)封装技术,在中间总线转换器(IBC)应用中实现0.4%效率提升,单kW负载节省4.3 W功耗。据测算,部署该方案的2000机架数据中心每小时可节能1.2 MWh,相当于25辆小型电动车充电所需能量。

900GB/s突破!英伟达开放核心互连技术引发行业震动

在2024年台北国际电脑展(Computex 2024)主题演讲中,英伟达CEO黄仁勋宣布将向全球芯片设计企业开放其核心互连技术——第四代NVLink Fusion。该技术旨在突破传统芯片间通信瓶颈,为构建下一代AI算力集群提供标准化解决方案

多协议并发+超低功耗!Qorvo QPG6200系列重塑物联网连接标准

全球连接与电源解决方案领导厂商Qorvo®(纳斯达克代码:QRVO)近日宣布,其QPG6200产品组合新增三款支持Matter标准的系统级芯片(SoC),包括QPG6200J、QPG6200M和QPG6200N(注:信息源自Qorvo官方新闻稿)。这一扩展标志着Qorvo在智能家居与工业物联网领域的进一步突破,通过ConcurrentConnect™技术与超低功耗架构,为多协议设备提供无缝互操作性与高效能支持。

双城启幕,共探软件定义未来——MATLAB EXPO 2025中国用户大会即将开启沪京双城科技盛宴

北京,2025年5月19日——在数字化浪潮重塑产业的当下,MathWorks正式公布MATLAB EXPO 2025中国用户大会的革新布局。这场年度技术盛会将于5月20日登陆上海国际会议中心,5月27日移师北京国家会议中心,首创"沪京双城"联动态势。本届大会聚焦"软件定义产品"的产业革命,通过50+深度技术研讨与行业实践案例,系统展示MATLAB®和Simulink®在智能驾驶、新能源系统、脑科学计算、无人机集群等前沿领域的技术突破,汇聚全球500强企业技术领袖、科研院所专家及创新团队,共同解构数字化工程转型的底层逻辑与实施路径。

康盈半导体扬州基地投产:国产存储产业链再添“芯”动能

在全球半导体产业加速重构的背景下,中国存储企业正通过技术创新与产业链整合抢占战略高地。2025年5月16日,康盈半导体扬州存储模组智造基地正式投产,标志着其在存储领域的全产业链布局迈出关键一步。这一项目的落地,不仅为国产存储技术自主可控注入新动能,也为区域经济转型升级提供了示范样本。