“ 感知CG · 感触创意 · 感受艺术 · 感悟心灵 ”
中国极具影响力CG领域自媒体
听说Siggraph Asia大会上又爆出了新科技,仅用一张照片就能实时生成3D数字头像模型。真的可以吗?今天CG世界带着小伙伴们来了解一番。
全球领先软件开发商Reallusion的副总裁上周三在Siggraph Asia大会的Real-Time Live为现场观众介绍了新科技Headshot背后的技术。
这是一款基于AI驱动的角色3D头部生成插件(适用于Character Creator),只需要一张头像照片,就能实时生成3D数字人类角色,整个过程从Jpeg头像照片到动态模型只需要9分钟的时间,听上去好像很厉害的。
借助智能纹理混合和头部网格创建的功能,新工具可生成带有头发和衣服的面部表情,同步声音口型,带有面部表情和全身动画。操作界面使用起来非常方面,极大地提高了艺术家对于电脑的控制感。系统还提供预览和高级建模工具,方便艺术家进行调整和修改。Headshot为用户提供了两种AI模式。一种是包含1000 种雕刻变形、图像映射和纹理重投影工具的Pro Mode(专业模式),适用于高级别制作、高分辨率纹理(4096×4096)处理和面部细化的工作;另一种是Auto Mode(自动模式),可生成带有3D头发的低分辨率虚拟头部,整个过程是自动进行的。接下来为大家详细介绍一下两个模式各自的使用功能。
▲自动模式vs专业模式
Pro Mode(专业模式)
▲4k纹理、图像匹配、照片重投影、定制遮罩先来说Pro Mode,这种模式利用对输入Jpeg图像进行机器学习的方式来创建面部,对高分辨率的面部细节有着相当全面的把控。Reallusion的CEO解释说,面部细节的微调过程依赖于经过系统设计的500-600个脸部变形,用户可以对每一个细节进行微调。从任何照片生成相似度极高的数字人物GENERATE DIGITAL HUMANS WITH LIKENESS FROM ANY PHOTO
即使是刚开始使用Headshot也能通过照片获得很高相似度的效果,再利用雕刻变形工具进行调整和精炼,得到的数字头像带有完全绑定效果,可利用iClone制作动画,也可以导出到UE4等实施引擎中。高分辨率纹理&变形选项HIGH-RES TEXTURE & SHAPING OPTIONS
用户可以改变层的不透明度来验证照片和网格之间是否很好的对齐在一起,用到的原理非常简单,用户通过覆盖层来检查AI结果,并使用智能UI对新模型进行调整。Headshot有一组专门为匹配照片而创建的变形效果,不需要大幅度的手动调节,仅通过变形调节就可以清晰准确的实现。例如,可以在对周围面部产生最小影响的状态下,对眼睑进行细调,动态效果也很真实。重投影REPROJECTION