在AR/VR社交、娱乐等应用中，你常常需要先创建个性化的3D形象来代表自己，那么如果未来AR/VR发展到头号玩家电影中那样沉浸的样子，那么创建一个外观接近人类的3D虚拟形象则越来越关键。就目前来讲，并没有一个通用的3D人像扫描方案，大多数AR/VR场景可能需要你去容积捕捉工作室去创建自己的3D形象，成本较高因而难以普及。
为了解决这一问题，德国比勒费尔德大学、维尔茨堡大学和多特蒙德大学的科研人员研发了一种利用中端智能手机就能生成3D虚拟形象的技术，其特点是只需要约20分钟即可完成扫描，可捕捉到鞋的细节、服装的纹理、亮度、阴影。扫描出的虚拟形象支持骨骼绑定，面部也可以设置表情变化。
科研人员表示：AR/VR娱乐、社交、互动式场景对于虚拟人像的逼真度要求越来越高，包括外在细节、动作、行为，通常只能通过几十颗摄像头完成的人像捕捉任务，现在通过基于手机的低成本方案即可完成，效果也足够优秀。
该方案由两部分组成，分别拍摄身体和头部，拍摄一个人只需要12分钟左右。通常，用手机进行3D建模的时候，会一次性对同一物体进行完整扫描和捕捉，德国科研人员的方案的不同之处在于，将头部和身体分为两个部分去拍摄，可捕捉到更多细节。
在捕捉头部的过程中，拍摄者只需要用手机围绕被拍摄者的头部转一圈拍摄，在捕捉身体的过程中，首先对包括头部在内的上半身转一圈拍摄，接着对下半身再拍摄一圈。
经过对比实验显示，基于智能手机的方案3D捕捉接近48颗摄像头容积捕捉的效果。此外，效果也比目前低成本的单目扫描方案更好。
细节方面，这组科研人员利用Google Pixel 3的4K分辨率/30Hz摄影模式来进行拍摄，该机型定价400美元，据称市面上同样支持4K拍摄的手机也能得到相似的效果。整个拍摄过程持续110秒，其中全身视频捕捉需要80秒，头部捕捉30秒。
在用手机拍摄后，算法可从拍摄的视频中捕捉135个关键节点，包括25个全身节点（用来合成2D骨骼）、42个双手势节点、68个面部节点。通过多视角3D重建，以及从每一帧图像实时分析光流、预测实时生成两组密集的点云数据。通过摄影测量软件Agisoft Metashape来处理并生成点云数据，然后结合bounding box，来优化数据和算法。
由于通过手机摄像头捕捉到的虚拟人像网格存在噪点、异常值、数据缺失等问题，于是科研人员将捕捉到的人体节点与预设的模板进行匹配，包括对其位置、方向、比例等参数，模板网格对识别到的网格进行调整，填补缺失的数据，以此来完成3D几何网格的重建。
接着，科研人员对重建的3D网格进行纹理渲染，通过图像分割和拼接方式来优化纹理渲染的过程。据悉，图像分割优化减少纹理的数量，用大块纹理去替代细碎的纹理。效果比Agisoft Metashape直接生成的纹理更清晰，细节更多。
整个过程耗时20分钟，其中4分钟进行3D捕捉，7分钟处理和生成点云数据，2分钟节点识别与模板匹配，7分钟生成纹理。通过Faceware Studio（无标记3D面部动捕方案）和Unity Live插件，可以实时控制表情。也就是说，扫描出的3D人像可直接通过实时姿态和表情捕捉软件来控制，应用在AR/VR社交场景中足够方便。
在对比实验中，科研人员对33人进行扫描，结果发现发现基于智能手机的方案3D捕捉接近48颗摄像头容积捕捉的效。不过深色服装难以被扫描，被扫描的人需要保持静止，任何明显的动作可能会影响扫描数据准确性，而且扫描眼镜、头发、饰品等物品也具有挑战。
总之，在这个实验中科研人员发现，对头部的二次扫描可大幅提升面部建模的效果和细节，未来，还可以对手臂等其他部位单独二次扫描，以提升扫描效果和准确性。
同时，3D重建的虚拟人轮廓需要匹配细致的纹理，以及适合的骨骼。市面上的方案成本较高，而本文中的这个3D扫描方案足够低成本，使用方面，有望为虚拟形象和交互式媒体带来更多应用。
