博士答辩人没来，上海交大ACM校友实力演绎学以致用
疫情之下，我们已经看惯了线上的一切：云毕业典礼、云学术会议、云发布会。但这些“云”终究让人感觉没“内味”。
因为没有身后的PPT投影、手舞足蹈的演讲，终归都是没有灵魂的！
所以，上海交大ACM班校友、南加州大学在读博士黄锃用专业知识，给自己办了场特殊的博士论文答辩。
他只有一个摄像头，家里没有投影仪，却把自己的答辩会办得像在礼堂演讲一样。
演讲人从2D变成3D，卧室背后的白墙也变成自己展示论文PPT的幕布。
右上角就是真实的黄锃同学，他一边演讲，电脑实时把他变成3D模型投影到场景中，导师们看到这一幕不禁笑了，随手就是一个转发。
在黄锃同学的主页上，我们发现了他的学弟李瑞龙早就开始“整活”，验证了3D论文答辩的可行性。
现在黄锃同学的这项研究已经被ECCV 2020收录。
背后的技术黄锃过去就一直从事3D图像重建的研究工作，去年他参与的一项研究PIFu（像素对齐隐式函数）可以从单张图片重建完全纹理的3D人体图像。
但是因为PIFu对硬件的要求很高，导致该技术并不能用于实时的图像重建。
为此，黄锃和团队里的李瑞龙、修宇亮等一起提出了一种新颖的分层表面定位算法，和一种无需显式提取表面网格的直接渲染方法。
通过从粗到细的方式选择不必要的区域进行评估，成功地将3D重建速度提高了两个数量级，同时没有降低质量。
结果证明，这种从单摄像头实时重建3D视频的方法，处理速度可达15fps，3D空间分辨率为2563。
为了减少实时3D重建所需的计算量，作者引入了两种新颖的加速技术：基于八叉树的鲁棒表面定位、无网格渲染。
由于算法流水线的主要瓶颈，是要在过多的3D位置上进行估计，因此，减少要估计的点数将大大提高性能。
八叉树是用于有效形状重构的通用数据表示，它可以分层减少存储数据的节点数量。
作者提出的这种表面定位算法，保留了原来靠蛮力重建的准确性，而且复杂度与基于朴素八叉树的重建算法相同。
此外，作者通过直接从PIFu生成的视图渲染，来绕过显式网格重建阶段。下图展示了无网格渲染算法的原理，虚线和实线分别表示真实表面和重建表面。
结合这两种算法，可以实时从任意角度快速渲染3D图像。
该算法还面临一个问题，那就是有些特殊的姿势和视角很难恢复，因为它们只在训练数据集中占据很小的一部分。
一般的方法是进行数据扩展，但是对于这种3D数据来作扩增是很困难的。
然而，之前的研究证明，改变数据采样分布会直接影响重建的质量，于是作者找到了一种解决训练数据偏差的方法OHEM。其关键思想，是让网络自动发现困难的样本，自适应地更改采样概率。
最后，作者的方法在没有任何超参数的情况下实现了最快加速，在保持原始重建精度的同时，处理速度从30秒减少到0.14秒。与无网格渲染技术相结合后，处理一帧图像的时间只需0.06秒。系统的总体延迟平均为0.25秒。
这种方法不需要搭建搭建具有多个视角摄像头的工作室，让普通人也能用上实时的3D演讲视频。
作者指出，本文的主要贡献点在于：
1、从单眼视频中实时生成3D全身视频，可以在各种姿势和服装类型下构造出完全纹理的衣服，而不受拓扑约束。2、提出一种渐进式表面定位算法，可使表面重建比基线快两个数量级，而且不会影响重建精度，在速度和正确性之间做了很好的取舍。3、提出无需明确提取表面网格即可直接用于视图合成的渲染技术，进一步提高了整体性能。4、提出一种有效的训练技术，可解决合成生成的训练数据不平衡问题。
和全息投影相比？
乍一看投影效果，是不是想到了马云今年在人工智能大会上，利用商汤全息投影完成的演讲？
△ 来源于微博@澎湃新闻
虽然也是将人的影响投影到另一处场景中，不过二者的性质完全不同。
全息投影成像的原理，是利用光的干涉和衍射，再现出物体真实的三维图像记录。
而这次的虚拟答辩效果，实际上是利用AI将摄像头拍到的2D人物图像，转换成3D的效果。
也就是说，二者无论是从原理、还是从设备需求来说都不一样。
不仅如此，应用的场景也有所不同。
全息投影更侧重于真实场景下「互动」的效果，也就是说，你在线下场景中，可以与一个投影出的3D版「真人」互动、或是听一场3D全息投影的演唱会等。
但这次的虚拟3D生成技术，则是侧重于在电子设备上将2D图像视频模拟出3D效果。
无论是单薄的2D视频、还是无法利用视频呈现的2D照片，利用这项技术都可以还原出仿真的人物形象。
也就是说，一台摄像机拍出来的普通2D效果，利用这项技术就能转换成效果斐然的3D图像。
关于作者
用这项技术答辩的黄锃，本科毕业于上海交通大学ACM班。而这项实时技术的主要贡献，则来自他合作的两位学弟。
这篇论文的两个同等贡献的第一作者，分别是两位黄锃的博士一年级学弟李瑞龙、修宇亮。
李瑞龙毕业于清华基础科学班，在清华获得了物理和数学学士学位，以及计算机科学硕士学位。
修宇亮则毕业山东大学软件工程学院数字媒体技术专业，本科期间他还是专业第一，之后进入上海交大获得计算机硕士学位。
至于黄锃自己，他在高中时就曾获得全国中学生物理奥赛金牌，进入上海交大ACM班就读后，本科四年均获奖学金，还顺便在数学建模美赛（MCM）上拿了个一等奖。
本科期间，黄锃曾在微软亚洲研究院实习，师从首席研究员曾文军，参与机器学习、深度神经网络相关的科研课题中。
△ 曾文军，图源：微软亚洲研究院
也是在这里，他开始深入地认识和掌握深度学习的核心概念和技巧，也开始认真思考机器学习的现状和发展。
李瑞龙、修宇亮、黄锃均师从计算机图形学领域有名的黎颢教授，主要研究方向是结合几何处理和深度学习的虚拟人体重建。
△ 黎颢
博士期间，黄锃曾在Facebook实习，共有9篇论文发表在论文顶会上，其中SIGGRAPH 1篇，ECCV 2篇，CVPR 2篇，ICCV 3篇，ICLR 1篇。黄锃最近的一项研究ARCH，则发表在CVPR 2020上，这项研究主要是关于穿着衣服人的3D可动画化重构。
而黄锃最「出圈」的研究，是一项名为PIFu的2D图像转3D技术，在国外的社交媒体上被网友拿来模拟了各种2D物体图像。有日本网友利用PIFu的技术，将照片上的奥黛丽·赫本和坂本龙马「请」到了自己的家里。
3D的效果还是很不错的。（就是，黑白的图像看起来略有点阴森…）
论文地址：
https://arxiv.org/abs/2007.13988视频介绍：
https://www.bilibili.com/video/av753971174/黄锃个人主页：
https://zeng.science/
本篇完，感谢关注：RISC-V单片机中文网
页:
[1]