来自图像集合的自监督视角学习

CVPRApr, 2020

Self-Supervised Viewpoint Learning From Image Collections

Siva Karthik Mustikovela, Varun Jampani, Shalini De Mello, Sifei Liu, Umar Iqbal...

TL;DR本研究旨在回答一个问题，即能否利用来自互联网的未标记对象类别的大量图像，通过自监督实现纯粹通过训练视角估计网络。在这里，我们提出了一种新颖的学习框架，其中包括一种通过合成分析范例结合生成网络进行视点感知重构图像的方法，以及对称性和对抗约束，以成功监督视点估计网络。通过实现我们的方法，我们表明在如人脸、汽车、公共汽车和火车等几个对象类别上，我们的方法表现出具有竞争力的完全监督方法，为进一步的自监督视角学习和研究提供了一个强健的基线。

Abstract

Training deep neural networks to estimate the viewpoint of objects requires large labeled training datasets. However, manually labeling viewpoints is notoriously hard, error-prone, and time-consuming. On the other hand, it is relatively easy to mine many unlabelled images of an object category from the internet, e.g., of cars or faces. We seek to answer the

viewpoint estimation self-supervision deep learning generative network computer vision

发现论文，激发创造

ViewNet: 无监督条件生成的视角估计

介绍了一种基于自监督学习的方法，使用透视空间变换器来实现高效的无监督视角学习，从而实现在三维世界中理解物体的探索。

Dec, 2022

具有几何感知的条件生成半监督视角估计

本文研究了基于图像对的半监督视角估计方法，该方法可以从未标注的图像对中推断视角信息，并将其应用于视角预测任务。实验表明，该方法在低标注数据情况下表现出色，在半监督视角估计方法中也取得了最佳效果。

Apr, 2021

利用自监督形状与姿态网络从图像集合转换为点云

提出了一种深度学习技术，用于从单个图像进行三维物体重建。与以往的方法不同的是，该方法使用只有单一视角的图像进行训练，并具有自我监督学习能力，可实现与使用更多监督信息的方法相媲美的性能。该方法还可以进行测试时间优化。

May, 2020

多视角自监督学习

本文提供了一种信息理论框架，从多个视角探究自监督学习的特性，并介绍了可以丢弃任务无关信息的任务相关自适应目标函数，为自监督学习的目标设计提供了更加广阔的空间。

Jun, 2020

多视角非监督式物体中心学习

通过提出一种深度生成模型，将潜在表示分为视点独立部分和视点相关部分，从多个未指定的视点学习构成性场景表示。在实验中，该方法能够有效地学习来自多个未指定视点的信息。

Jan, 2024

通过有选择的自监督自训练来改进物体检测

本文介绍了一种使用网络图像来扩充人为筛选的物体检测数据集的方法，通过图像匹配来检索网络图像，提出了一种新的学习方法，以获取正和负的边界框的监督信号，从而提高了检测结果。

Jul, 2020

多视角匹配的高效表征学习

本研究提出了一种将自监督学习和多视角匹配技术相结合的方法，在没有额外标签的情况下，利用来自嵌入式相机的机器人吸尘器捕获的数据学习更高质量的表示，并证明了其在物体分类性能上的有效性。

Aug, 2022

通过将图像嵌入文本主题空间进行自监督的视觉特征学习

本文提出了一种利用自由可得的多模态内容进行无人监督计算机视觉算法训练的方法，通过挖掘大规模的多模态文档语料库中的语义结构进行话题建模，训练卷积神经网络来预测图像最可能出现为插图的语义上下文，有效地学习了区分性视觉特征，其实验结果表明具有比近期的自监督或自然监督方法更好的图像分类、物体检测和多模态检索的性能。

May, 2017

自监督学习的多视角立体深度推理

提出了一种基于自监督学习框架的多视角立体网络，使用输入数据的伪标签来为网络提供超级噪声，此方法在 DTU 数据集上表现良好，并且在无监督多视图立体场景中能够显著优于现有的方法。

Apr, 2021

自监督关键分析：或从单张图像中获得的经验教训

本文对于深度卷积神经网络的自监督技术进行了批判性的探讨，指出在使用强大的数据增强技术后，三种不同但具有代表性的方法可以从单个图像中学习卷积网络的前几层，但是对于更深层的神经网络，即使使用了数百万张未标记的图像来进行训练，与手动监督的差距也无法弥补。该研究得出的结论是：（1）深度网络的早期层的权值包含的自然图像的统计信息非常有限，（2）这种低层次的统计信息可以通过自监督学习和强监督学习一样学习，（3）可以通过使用合成变换来捕获低层次的统计信息，而无需使用大量的图像数据集。

Apr, 2019