一甜相机是一款高品质拍摄软件，主打适合亚裔面孔的高甜滤镜和元气萌力贴纸，让用户通过自然轻量的美颜特效，轻松拍出大片质感的照片、视频和Vlog，还可以保存本地和分享多个社交平台，今年6月一甜推出了“花火”滤镜、“夏日甜橙妆”和“闺蜜检测”等爆款贴纸特效。
“一甜的美颜拍摄技术使用了目前业内领先的人脸关键点识别、3D人脸重建、AR相机姿态估计、视频美学评估等核心技术，并结合了AI智能分析匹配算法。”一甜相机背后的快手研发线Y-tech实验室，算法相关负责人宋丛礼说道，所以在采访之前我们也请Y-tech算法的张文波老师先给各位老铁介绍一下什么是人脸关键点：人脸关键点就是如何定位人脸上面的点，比如人的眼角点在哪，嘴角的点在哪，一甜相机在人脸上面定义了上百个点，美颜与贴纸的贴合程度都是基于这个AI智能算法来做的，底层都是人脸关键点。Q1: 一甜相机的核心技术是什么？相比其他相机的优势在哪里？宋丛礼：高效且高质量的端上AI算法支持应该是一甜相机的一个核心部分。抠图技术在一甜相机的应用是比较广泛的，比如人体抠像、头发分割、人脸遮挡分割等，像人脸遮挡分割算法，需要能够较好地处理两个颜色相近物体的边界问题，如在脸部把手的遮挡mask算出来，一般情况下人手的颜色跟脸部皮肤是很接近的，很多时候人眼都难以分辨出他们的边界。一甜这方面做到了，并首家上线了基于人脸遮挡算法的新功能，如擦妆、妆容防遮挡等。
Q2:说到遮挡功能，很多美颜类相机口红眼影都会浮在手上，一甜相机是怎么做到用手遮挡但是不影响妆容的？
宋丛礼：主要是基于人脸遮挡分割技术的提升。我们这个技术主要是对人脸区域的遮挡物（包括手及物体）进行分割，在上妆的过程中，先用关键点进行妆容的绘制，然后利用人脸遮挡分割得到的的掩码图信息，只保留非遮挡区域的妆容，去除遮挡区域的妆容，带来更为真实的上妆体验。
Q3: 是从哪些点考虑要做抠图功能，因为很多照片背景比较杂乱，并不好抠，这个实现起来是不是很难？
宋丛礼：主要还是从用户的抠图需求以及降低用户操作门槛的角度来决定做魔法抠图功能的，用户想把图像中的人物等扣出来以实现更为炫酷的特效，所以我们考虑做一个一键自动抠图功能，降低用户操作门槛，提高用户创作热情。
人体抠像由于存在大量复杂的背景导致它的实现并不容易。在这里，我们主要通过更为合理和高效的模型设计及压缩方法，设计了定制化的后处理方案来得到更为鲁邦和准确的模型，达到更好的魔法抠图效果，提升用户的生产体验。
Q4：很多人说只要我甩头的动作够快，特效就追不上我，贴纸的贴合度这点是怎么控制的？怎么让贴纸更贴合面部？
张文波：根据人脸关键点提供的人脸姿态角，对贴纸进行角度变换，贴纸在你左右转头的时候会有透视的效果，关键点要准，而且跟踪表情要足够的及时准确不能有滞后，会让贴纸更贴合面部。
Q5: 网友说现在的美颜相机有多强大，感觉都在往换头的方向走了，不仅可以调整脸部轮廓骨骼位置，还能瘦身长腿，这个是怎么做到的？张文波：AI图像识别功能可以识别人脸五官的轮廓，包括身体骨骼的轮廓的关键点，各个关节他们的位置分别在哪里，有了这些AI算法对图像的理解，我们就可以知道当一个人去调整这个照片的时候，一般是根据他腿在哪，膝盖在哪，脚踝在哪里，算法能自动识别直接做调整。同样，人脸我们可以做到人脸关键点识别和三维人脸重建，脸型方面的调整就非常容易了。
Q6:大家都关心的一甜相机拍照效果自然，这个自然度是什么决定的？张文波：自然取决于光照，光照自然，皮肤纹理具有质感，还取决于清晰，在做细纹滤除的时候就不能把嘴唇的纹路和眼睛的纹路也给消除掉，保证应该有的那些纹路是非常清楚的，不应该有的部分会把它消除掉。Q7:为什么原相机拍人丑？一甜相机对面部的美化程度主要在哪几个点？张文波：原相机对人脸不做特别处理，一甜相机和原相机比起来区别最主要的是一甜相机对人脸进行专门的处理，人脸处理包含了很多方面：皮肤质感的提升，美白，美型，美妆，这几个部分原相机都不会做，所以用一甜相机拍出来是上妆之后的样子，原相机是上妆之前。一甜相机的作用就是挖掘你美的部分把它展现出来，把现有场景里对你美的负面的东西消除掉，比如肤色变通透，祛除脸上瑕疵，画面亮度整体优化等。
Q8:拍照的时候一个很明显的变化就是皮肤会变好，一甜相机针对女生的皮肤问题（痘痘/雀斑/细纹/法令纹）都是怎么识别并改善的？张文波：图像处理里面通过人脸瑕疵检测把皮肤上面的痘痘, 斑点等瑕疵都能检测出来，第一步检测到瑕疵，第二步把瑕疵消除掉，痘痘和瑕疵去掉了之后, 算法可以根据脸上临近部位的纹理特性，来智能的决定用什么样的颜色与纹理来替换掉原来的瑕疵, 从而保持总体的一致性。同样是瑕疵的检测和识别，痘痘和雀斑是一种技术，细纹和法令纹是另一种技术，可以把细纹和法令纹当作皮肤上的噪音，把噪音消除掉，消除多少大小可以控制，就是我们常见的磨皮方法调整。我们会在手机上谨慎的设置最大可调范围，保证不会让用户觉得拍出来太假。
