基于循环变换的弱监督解缠合技术用于三维视图合成
从学习代理的角度探究了单视角 3D 物体重建任务,提出了一种包含透视变换定义的新型投影损失的编码器 - 解码器网络,实现了从单个 2D 图像生成 3D 体积的无监督学习,并通过实验证明了投影损失提高了 3D 对象重建的性能和泛化能力。
Dec, 2016
本文提出了一个自监督学习的方法,通过深度引导的调整过程,利用变换自编码器的网络结构,在只有 2D 图像和相关视角变换的情况下精确合成高质量的 3D 对象或场景的新视角,并实现了细粒度和精密的六自由度视角控制。通过在合成和真实场景以及精细和固定视角设置下的彻底评估,证明了该方法的广泛适用性。
Jan, 2019
使用视觉 transformer 替代卷积在现有的高效,高性能的 3D 目标重建技术中,预测三维结构并取得类似或优于基线方法的准确度,表明视觉 transformer 在三维目标重建任务中有着巨大的潜力。
Feb, 2023
本文提出了一种基于 3D 面部建模和高分辨率 GAN 的无监督框架,旋转面部并在 2D 平面上重新渲染以增强数据,并实现现实世界中单视角图像集合下的逆向旋转合成,模型表现出卓越的合成质量和身份保护性能,可以作为现代人脸识别系统的数据增强引擎。
Mar, 2020
本文提出了一种无需外部监督学习从单视角图像中学习三维可变形物体类别的方法,该方法基于自编码器,将每个输入图像分解为深度、漫反射、观察角度和光照,通过利用物体对称结构来分解这些组件,推理光照使我们能够利用底层的物体对称性,即使外观不对称,而是由于阴影造成的。此外,我们通过预测对称概率地图来建模可能但不一定对称的对象,该地图与模型的其他组件一起端到端地学习。我们的实验表明,这种方法可以从单视角图像中非常准确地恢复人类脸部、猫脸和汽车的三维形状,而不需要任何监督或先前的形状模型。与使用 2D 图像对应的监督方法相比,在基准测试中,我们表现出优越的准确性。
Nov, 2019
本篇论文针对计算机视觉中难以标注真实数据的实际场景,提出一种基于多视角的物体三维重建模型,利用自主采集的物体图像视频数据集作为训练样本,创新地提出使用神经网络设计进行后续重构,并在多项基准数据集上验证了该模型的优越性。
Mar, 2021
使用深度学习方法,构建一个名为 3D-R2N2 的递归神经网络结构,使用大量的合成数据将图像映射到对应的 3D 形状,无需图像注释或对象分类标签,可以在缺乏纹理或宽基线的情况下,实现对象的 3D 重建,并在单视图重建方面优于现有的最先进方法。
Apr, 2016
本文提出了一种新颖的生成模型,能够在控制眼睛注视和头部方向角度方面达到细粒度控制,并通过在自学习中学习发现、解缠和编码这些外部变化来分离众多与外貌相关的因素,进而优化了准确性和数据下游任务,从而提高了端到端交叉数据集准确性的能力。
Oct, 2020
本论文介绍了一种无监督学习方法,将三维形状信息嵌入到单视图图像表示中,通过使用单个 2D 图像的自监督训练目标,在没有人工语义标签的前提下,鼓励表示捕捉基本形状原语和语义规律,最终学习得到一个强大的表示方法,可以成功进行物体识别和 “心理旋转” 操作,成果优于相对应的其他无监督学习方法。
Sep, 2017