介绍了一种基于自监督学习的方法,使用透视空间变换器来实现高效的无监督视角学习,从而实现在三维世界中理解物体的探索。
Dec, 2022
本研究旨在回答一个问题,即能否利用来自互联网的未标记对象类别的大量图像,通过自监督实现纯粹通过训练视角估计网络。 在这里,我们提出了一种新颖的学习框架,其中包括一种通过合成分析范例结合生成网络进行视点感知重构图像的方法,以及对称性和对抗约束,以成功监督视点估计网络。通过实现我们的方法,我们表明在如人脸、汽车、公共汽车和火车等几个对象类别上,我们的方法表现出具有竞争力的完全监督方法,为进一步的自监督视角学习和研究提供了一个强健的基线。
Apr, 2020
本文提出使用多视角图像而无需注释,来学习一个具有几何感知能力的身体表示,通过使用该身体表示,我们的方法在仅使用少量标记数据的情况下,显著优于完全监督的方法,并且在使用仅 1% 标记数据时,也优于其他半监督方法。
Apr, 2018
本论文主要探讨基于学习的单个或有限 2D 图像的新视角合成,提出了一个端到端可训练的条件变分框架,通过空间相关模块从外观描述图像中提取全局的 3D 表示形状、纹理和以观察者为中心的坐标系原点等,实现无需显式 3D 重建即可隐含 3D 理解。
Jul, 2020
本文提出了基于几何约束的跨视图图像合成方法,该方法包含使用单应性矩阵将图像映射到另一个视图,利用生成式对抗网络对转换后的图像进行缺失区域修复,实现更为逼真的图像合成效果。
Aug, 2018
提出了一种无需手动监督来学习视觉对象(例如面部中的眼睛和鼻子)的地标探测器的方法,通过几何提取过程中引入的紧密瓶颈,结合外观和几何来生成图片,该方法适用于多种数据集,包括人脸、人物、3D 对象和数字,同时在无监督地标检测方面优于现有最先进的技术。
Jun, 2018
通过利用语义标记的图像和通过图像变形获得的无监督信号来联合学习语义分割和深度估计,提出了一种半监督的深度估计方法,结果表明在 KITTI 数据集上超过了单目深度估计的先进方法。
Oct, 2018
自监督表征学习在提取图像特征方面取得了近期的进展,但在面对对称性和重复部分等具有挑战性的图像特征时仍存在限制。为了解决这些限制,本文提出一种新的语义对应估计方法,将有区分度的自监督特征与三维理解相结合,通过弱几何球面先验进行补充。与更复杂的三维流程相比,我们的模型仅需要弱视点信息,我们球面表示的简单性使我们能够在训练过程中注入信息丰富的几何先验。我们提出了一个更好地考虑重复部分和对称性误差的新评估指标。我们在具有挑战性的 SPair-71k 数据集上呈现结果,表明我们的方法能够在许多物体类别上区分对称视图和重复部分,并且还证明我们能够推广到 AwA 数据集上的未见类别。
Dec, 2023
本研究提出了一种基于渲染图像合成和 CNN 的三维模型视点估计框架,通过构建可扩展且抗过拟合的图像合成流水线和针对视点估计任务的新型 CNN,实现了对 PASCAL 3D + 基准测试的最先进方法的显着优化
May, 2015
本文介绍了一种新的语义视图综合问题,通过使用语义标签图作为输入生成合成场景的自由视角渲染,在现有图像 / 视图综合方法的基础上,提出了一个两步方法,第一步合成可见表面的颜色和深度,第二步将它们用于在多平面图像 (MPI) 中减轻部分影像的影响,该方法在室内外场景中得到了良好的效果。
Aug, 2020