人脸识别技术综述论文(人脸识别原理及算法)-众学网

极市导读

我们对2020年全部计算机视觉综述论文进行了分方向梳理，本文为人脸识别方向，包括人脸识别、检测、面部反欺骗、3D人脸重建、deepfake等方向。>>加入极市CV技术交流群，走在计算机视觉的最前沿

引言

在过去的一年中，计算机视觉领域出现了许多优秀的工作，并推动了相关领域的技术发展与进步。去年上半年，极市曾盘点过计算机视觉领域综述论文，并进行了分类整理，得到了很多读者的支持。因此，在2021年初，我们对2020年出现的全部计算机视觉综述论文进行了分方向梳理，希望能帮助大家学习进步。本文是第五篇，人脸方向。

综述一

本文共梳理371篇相关文献。

随着深度卷积神经网络和大规模数据集的最新发展，深度人脸识别取得了显着进展，并已广泛应用于现实应用中。给定自然图像或视频帧作为输入，端到端深脸识别系统将输出脸部特征以进行识别。为此，整个系统通常由三个关键要素构成：面部检测，面部预处理和面部表示。这三个要素都由深度卷积神经网络实现。在本文中，由于蓬勃发展的深度学习技术极大地提高了它们的能力，因此我们对端到端深度人脸识别各个元素的最新进展进行了全面的调查，分别回顾了基于深度学习的每个元素的进展，涵盖了许多方面，例如最新的算法设计，评估指标，数据集，性能比较，存在的挑战以及有希望的未来研究方向。

端到端深度人脸识别系统的标准管道

代表性人脸检测方法的发展：

综述二

本文共梳理173篇相关文献。

人脸分析和识别系统的性能取决于所采集人脸数据的质量，该质量受众多因素影响。因此，根据生物统计实用程序自动评估面部数据的质量对于过滤掉低质量的数据很有用。本文概述了在面部生物识别技术框架中的面部质量评估文献，重点是基于可见波长面部图像的面部识别，而不是例如深度或红外质量评估，观察到了基于深度学习的方法的趋势，包括最近方法之间的显着概念差异。

典型的FQA过程：对人脸图像进行预处理，然后应用FQA，从而输出标量质量得分，并据此做出决策。

综述三

静止（向上）和疲劳（向下）面部的RGB，近红外和热图像。在热图像中，较暗的像素对应于较冷的像素，较浅的像素对应于较热的像素。

长波IR的波长范围为8 ??m至15 ??m：

综述四

本文共梳理191篇相关文献。

基于面部识别的生物识别系统的广泛部署已使面部表情攻击检测（面部反欺骗）成为一个越来越关键的问题。本文彻底研究了在过去的二十年中仅需要普通消费类设备的RGB摄像头的面部表情攻击检测（PAD）方法。本文介绍了现有人脸PAD方法的面向攻击场景的类型，并回顾了50多种最新的人脸PAD方法及其相关问题，描述了面部PAD领域的主要挑战，演变和当前趋势，并提供了对其未来研究的见识。

面部表情攻击的类型

每个PAD方法子类型旨在检测的Presentation Attacks（PA）的类型。

基于局部rPPG相关的方法的框架：

综述五

本文共梳理205篇相关文献。

此调查的组织结构是根据通用MER管道进行的：

TSNNLF中用于MER的2D CNN和3D CNN的组合结构：

综述六

本文共梳理203篇相关文献。

近来，许多注意力集中在将3D数据合并到面部分析及其应用中。尽管提供了面部的更准确表示，但3D面部图像的获取要比2D图片更为复杂。在开发系统上投入了大量的精力后，这些系统可以从未经校准的2D图像重建3D人脸。然而，从3D到2D的面部重建问题是不适的，因此需要先验知识来限制解决方案空间。本文回顾了过去十年中的3D人脸重建方法，重点介绍了仅使用在不受控制的条件下捕获的2D图片的方法。本文基于用于添加先验知识的技术对提出的方法进行分类，考虑了三种主要策略，即统计模型拟合，光度法和深度学习，并分别对其进行了回顾。此外，鉴于统计3D面部模型作为先验知识的相关性，本文还解释了构建过程并提供了可公开获得的3D面部模型的完整列表。

可用的3DMM的特征：

综述七

本文梳理了105篇相关文献。

本文对操纵人脸的图像技术（包括DeepFake方法）以及检测此类技术的方法进行了全面综述。论述了四种类型的面部操作：全脸合成、面部身份交换（DeepFakes）、面部属性操作以及面部表情操作。

每个面部操作组的真实和伪造示例：

综述八

本文共梳理62篇相关文献。

在某些实际情况下，训练集中的每个身份只有一个样本。这种情况称为每人单样本（SSPP），这对有效训练深度模型提出了巨大挑战。为了解决该问题并释放深度学习的全部潜力，近年来已经提出了许多基于深度学习的SSPP人脸识别方法。对于基于SSPP的传统方法的人脸识别方法已经进行了几项全面的调查，但是很少涉及基于新兴深度学习的方法。本文将重点放在这些深层方法上，将它们分类为虚拟样本方法和通用学习方法。在虚拟样本方法中，将生成虚拟人脸图像或虚拟人脸特征，以利于深度模型的训练。在通用学习方法中，使用了额外的多样本通用集。在常规学习方法部分的分析中，涉及传统方法和深度特征合并，损失函数改进和网络结构改进的工作。

研究领域之间的关系：

虚拟人脸图像和特征生成方法图：

综述九

本文共梳理193篇相关文献。

遮挡下人脸识别能力有限是一个长期存在的问题，它对人脸识别系统甚至人类提出了独特的挑战。与其他挑战（例如姿势变化，不同表情等）相比，有关遮挡的问题未被研究覆盖。尽管如此，遮挡的脸部识别对于在现实应用中充分发挥脸部识别的潜力至关重要。本文将范围限制为遮挡人脸识别，首先探讨了什么是遮挡问题以及哪些固有的困难会出现，介绍了遮挡下的人脸检测，这是人脸识别的第一步。其次，文章介绍现有的面部识别方法如何解决遮挡问题并将其分为三类，即1）遮挡鲁棒特征提取方法，2）遮挡感知的面部识别方法和3）基于遮挡恢复的面部识别方法。

OFR中涉及不同的遮挡人脸识别测试场景：

综述十

本文共梳理53篇相关文献。

“计算机系统的输出只能与输入的信息一样准确。”这个相当琐碎的陈述是生物识别的驱动概念之一的基础：生物识别质量。如今，质量已被广泛认为是导致自动生物识别系统性能好坏的首要因素。这些算法在系统的正确运行中起着举足轻重的作用，向用户提供反馈并作为宝贵的审计工具。尽管它们被一致接受，但在这些方法的开发中却缺少一些最常用和最广泛使用的生物特征。本文通过开发FaceQnet解决了对更好的面部质量度量的需求。FaceQnet是一种新颖的开源人脸质量评估工具，受深度学习技术的启发和支持，该工具为人脸图像分配了标量质量度量，以预测其识别精度。NIST已在工作中以及独立地对FaceQnet的两个版本进行了全面评估，显示了该方法的合理性及其相对于当前最新技术指标的竞争力。

由NIST在2019年组织的FRVT-QA活动的结果的简短摘要，用于评估面部质量指标。：

综述十一

人脸识别（FR）系统已展示出出色的验证性能，表明适用于现实世界的应用程序，从社交媒体中的照片标记到自动边界控制（ABC）。但是，在具有基于深度学习的体系结构的高级FR系统中，仅提高识别效率是不够的，并且系统还应承受旨在针对其熟练程度而设计的潜在攻击。最近的研究表明，（较深的）FR系统对难以察觉或可感知但看起来自然的对抗输入图像表现出令人着迷的脆弱性，从而使模型无法正确预测输出。本文对针对FR系统的对抗性攻击进行了全面调查，并详细阐述了针对这些系统的新对策的能力。

旨在欺骗FR系统的对抗性攻击产生方法的大致分类：

综述十二

本文共梳理47篇相关文献。

最近，一个多族裔面部反欺骗数据集CASIA-SURF CeFA已经发布，目的是测量种族偏见。它是涵盖3种种族，3种形态，1,607个主题，2D加3D攻击类型的最大的最新跨种族面部反欺骗数据集，并且是最近发布的面部反欺骗数据集中第一个包含显式种族标签的数据集。本文围绕这一新颖资源组织了Chalearn面部反欺骗攻击检测挑战赛，该挑战赛由单模式（例如RGB）和多模式（例如RGB，深度，红外（IR））轨道组成，以促进旨在缓解这种情况的研究种族偏见。在开发阶段，这两个轨道都吸引了340个团队，最后有11个和8个团队分别在单模式和多模式面部反欺骗识别挑战中提交了其代码。所有结果均由组委会进行了验证并重新运行，并将结果用于最终排名。本文概述了这一挑战，包括其设计，评估协议和结果摘要。

多模式赛道的9个团队的ROC。从左到右是协议4_1、4_2和4_3的ROC：