近期，外洋设想机视觉与花式识别会议CVPR 2022在好意思国新奥尔良举行，并同步进行线上会议。由王君乐博士指导的腾讯Turing Lab实验室提交的论文《High-resolution Face Swapping via Latent Semantics Disentanglement》（基于隐语义解耦的高分辨率换脸）到手入选。
论文由腾讯Turing Lab与华南理工大学、卡迪夫大学及中国香港大学合营完成。接下来，咱们将为大家解读论文的中枢效果，一都来学习设想机视觉限制的最前沿盘考吧！
基于隐语义解耦的高分辨率换脸
High-resolution Face Swapping via Latent Semantics Disentanglement
在换脸任务中，咱们需要针对给定的源脸和宗旨脸，将源脸的身份信息挪动至宗旨脸上，并同期保抓宗旨脸的属性信息。该时期连年来得到多数眷注的，并在互动文娱、广电、安全与苦衷保护等限制均展现出较大的应用后劲。
这篇论文惨酷了一种新的、基于预实践GAN模子中内在先验常识的换脸要道，终明晰高分辨率（1024X1024）换脸。该要道除了能保抓宗旨脸的常见属性信息，如色调、姿态、光照、配景等除外，还不错更好地保抓宗旨脸的妆容信息。
在这个使命中，咱们诈欺生成扞拒模子隐空间的解耦特质，将不同性质的属性分袂挪动。具体来说，色调、姿态等是与结构商酌的属性，而光照、作风等是与外不雅商酌的属性。这两类属性由隐编码的不同层分袂终端：一张图片隐编码的前半部分终端结构信息，尔后半部分终端外不雅信息。
咱们先分袂将源脸和宗旨脸回转到StyleGAN的隐空间内。同期将源脸和宗旨脸缺陷点的热图送入缺陷点编码器，得到一个结构属性转换向量，这个向量作用在源脸的隐编码上，即可终了结构属性的挪动。
同期，开云体育咱们用宗旨脸隐编码的后半部分代替源脸隐编码的后半部分，这么即可终了外不雅属性的挪动。将科罚之后的隐编码送入预实践好的StyleGAN中，即可得到初步的换脸终结。
此外，为了终了宗旨脸配景的挪动，咱们将宗旨脸平直送入宗旨编码器，得到不同分辨率的特征，并和StyleGAN中间经由中产生的特征在解码器中进行交融。这么咱们就得到了最终的终结y。实验终结标明，咱们的要道在图片和视频换脸任务中，好多方面的效果均跨越了多SOTA要道。
注：图片只用作学术盘考，毋庸于交易用途。
对于CVPR
CVPR 全称 IEEE 外洋设想机视觉与花式识别会议（IEEE Conference on Computer Vision and Pattern Recognition），该会议始于 1983 年，是设想机视觉和花式识别限制的顶级会议。本年大会共收到来自全球各大高校、科研机构与科技公司共8186篇投稿，最终接纳的论文的确都代表了年度设想机视觉限制最新、最高科研水平以及明天发展趋势。
这次论文入选，亦然对腾讯Turing Lab实验室现阶段科研及转换智商的招供。明天，腾讯Turing Lab将无间勤苦，为大家在设想机视觉限制带来更多可能。
腾讯Turing Lab实验室认真东说念主
王君乐博士
腾讯巨匠盘考员
领有十余年设想机视觉、多媒体、机器学习限制盘考训诲，在东说念主体姿态测度与重建、图像质地评价、设想影相学、千里浸式多媒体等限制有较深的了解及实战训诲，并在这些限制指导团队进行探索与落地的使命。
曾主导腾讯CenseoQoE画质评价决策的建造与社区开源kaiyun体育app，主导腾讯前锋云游戏云表虚实互动时期的研发。此外，在包括CVPR、NeurIPS、TIP、TMM等顶级会议及期刊上发表多篇论文，并为多个会议及期刊担任审稿东说念主及组织者。
开云体育(中国)官方网站