面向视觉集合扩展的自监督多视角解缴技术

Feb, 2023

面向视觉集合扩展的自监督多视角解缴技术

Self-supervised Multi-view Disentanglement for Expansion of Visual Collections

Nihal Jain, Praneetha Vaddamanu, Paridhi Maheshwari, Vishwa Vinay, Kuldeep Kulkarni

TL;DR本文介绍了一种自我监督学习的方法，用于提取图像的特征向量，并将其组合用于图像搜索引擎的检索算法中。这种方法能有效地减少特征重叠，提高查询的精确性。

Abstract

image search engines enable the retrieval of images relevant to a query image. In this work, we consider the setting where a query for similar images is derived from a collection of images. For visual search, the similarity measurements may be made along multiple axes, or views, such a

image search engines similarity measurements self-supervised learning retrieval algorithm view-specific representations

发现论文，激发创造

多视角自监督解缠结通用图像降噪

通过多角度自监督解缠方法 (MeD)，本文在合成噪声和真实噪声的实验分析中展现了该方法在未见过的新噪声类型上相对于之前的自监督方法的卓越性能。在真实噪声上，该方法的性能甚至超过了其监督对照组超过 3 dB。

Sep, 2023

多视角匹配的高效表征学习

本研究提出了一种将自监督学习和多视角匹配技术相结合的方法，在没有额外标签的情况下，利用来自嵌入式相机的机器人吸尘器捕获的数据学习更高质量的表示，并证明了其在物体分类性能上的有效性。

Aug, 2022

自监督对比学习的约束多视图表示

基于表示距离的互信息最大化方法用于量化不同视图的重要性，进而实现更高效的对比学习和表示解耦。通过在频率域提取多视图表示，并基于不同频率之间的互信息重新评估其重要性，本文提出的框架能够有效约束互信息最大化驱动的表示选择，推动多视图对比学习。

Feb, 2024

多视角自监督学习

本文提供了一种信息理论框架，从多个视角探究自监督学习的特性，并介绍了可以丢弃任务无关信息的任务相关自适应目标函数，为自监督学习的目标设计提供了更加广阔的空间。

Jun, 2020

超越归纳偏见的多视图表示解耦

多视角表示学习通过发现多视图一致性和解缠绕的信息边界，提出了一种旨在超越归纳偏见、确保表示的可解释性和泛化性的新型多视图表示解缠绕方法。实验证明了该方法在聚类和分类性能上优于其他 12 种方法，并且提取的一致性和特异性具有紧凑和可解释的特点。

Aug, 2023

理解基于潜在相关性的多视角学习和自监督：一个可识别性视角

本文旨在从潜在组件识别的角度理解基于最大化相关性的深度多视角学习，并采用一种直观的生成模型来分析多视角数据，它是共享和私有组件的不同非线性混合物，通过最大化潜在相关性，可以保证从各个视角提取共享组件（在一定程度上）并且还证明了通过适当的正则化设计，每个视图中的私有信息可以被明确地分离出来。

Jun, 2021

使用无监督深度学习进行早期视觉概念学习

本文提出了一种基于无监督学习、从神经科学中获得灵感的方法，利用变分自编码器对图像数据进行学习，从而获得解耦表示。该方法可以使神经科学的研究成果得以应用到实际中，同时还有零样本推理和直观理解的优点。

Jun, 2016

对比学习，多视角冗余和线性模型

本文针对多视图环境下对比学习进行理论分析，结果表明当视图提供有关标签的冗余信息时，所学习的表示的线性函数在下游预测任务中几乎是最优的。

Aug, 2020

通过蒸馏解耦重新思考多视角表示学习

多视角表示学习中的重叠与纯化问题得到了深入分析，提出了一种创新的多视角表示学习框架，结合了一种名为 “distilled disentangling” 的技术，通过引入遮蔽交叉视角预测的概念，实现了从多种数据源中提取紧凑、高质量的视角一致的表示，进一步减少了与视角特定表示的冗余，提升了学习过程的整体效率。

Mar, 2024

通过将图像嵌入文本主题空间进行自监督的视觉特征学习

本文提出了一种利用自由可得的多模态内容进行无人监督计算机视觉算法训练的方法，通过挖掘大规模的多模态文档语料库中的语义结构进行话题建模，训练卷积神经网络来预测图像最可能出现为插图的语义上下文，有效地学习了区分性视觉特征，其实验结果表明具有比近期的自监督或自然监督方法更好的图像分类、物体检测和多模态检索的性能。

May, 2017