学习弱监督对比表示

ICLRFeb, 2022

Learning Weakly-Supervised Contrastive Representations

Yao-Hung Hubert Tsai, Tianqin Li, Weixin Liu, Peiyuan Liao, Ruslan Salakhutdinov...

TL;DR本文提出了一种二阶段的弱监督对比学习方法，第一阶段根据辅助信息对数据进行聚类，第二阶段在同一簇中学习相似的表征和不同簇的数据的不相似的表征。通过实验表明，与传统的自监督表示相比，辅助信息注入表示使性能更接近于监督表示。同时，本方法在与其他基线表示学习方法进行比较时表现最佳，并且其也适用于无监督构建簇，展示了强大的无监督表示学习方法。

Abstract

We argue that a form of the valuable information provided by the auxiliary information is its implied data clustering information. For instance, considering hashtags as auxiliary information, we can hypothesize t

auxiliary information data clustering weakly-supervised contrastive learning self-supervised representations unsupervised representation learning

发现论文，激发创造

对比无监督表示学习的理论分析

本文提出了一种理论框架以分析对比学习的算法，并引入潜在类别假设，该框架使我们能够在平均分类任务上证明学习表示的性能。同时，该文还表明，学习表示可以降低下游任务的（标记）样本复杂度。

Feb, 2019

重新思考弱监督在协同学习中的应用

研究了在弱监督下利用联合训练有监督和无监督对比损失来训练相似图，证明了半监督标签可以改善下游分类错误的绑定，而噪声标签的影响有限。

Jun, 2023

弱监督对比学习

提出了一种基于弱监督对比学习的框架 (WCL)，该框架使用两个投影头进行正则的实例区分任务，一头使用基于图形的方法找到相似的样本并生成弱标签，另一头使用这些弱标签进行有监督的对比学习任务，以拉近相似图像之间的距离。WCL 旨在解决现有对比学习框架中的类冲突问题，并在不同的数据集上提高了自监督表示品质，尤其是在半监督学习中达到了新的最优结果。

Oct, 2021

自监督和有监督方法是否学习相似的视觉表征？

对比对神经表示的最新技术，研究了对比自我监督算法和简单图像数据在共同架构中的监督学习方法的中间表示的学习，发现这些方法通过不同的方法学习相似的中间表示，但在最后几层中表示迅速发散，旨在突出学习的中间表示的重要性，并提出了辅助任务设计的关键问题。

Oct, 2021

高效有效的自监督视觉表示学习

本研究提出一种新的辅助任务 —— 旋转预测，用于加强现有最先进的基于相似性和对比性方法，并在多个数据集上证明了我们的方法能显着提高性能。

Oct, 2022

对比估计方法揭示线性模型中主题后验信息

本文探讨了对比学习在文档分类中的应用。与传统方法相比，利用对比学习方法能更好的学习到文档的表征，并通过实验证明线性分类器利用这些表示能提高文档分类的准确性。

Mar, 2020

用对比学习支持聚类

该论文提出了 SCCL 框架，使用对比学习来帮助无监督聚类，有效提升类别间距离，进而在短文本聚类中达到更好的结果。研究表明，SCCL 能够显著提高精度和归一化互信息，同时有效结合自下而上的实例判别和自上而下的聚类来实现更好的聚类效果。

Mar, 2021

深度表示学习的无监督图像分类

本研究提出了一种无监督图像分类框架，旨在通过不使用嵌入聚类来简化和优化深度聚类算法，并在 ImageNet 数据集上进行了实验。同时验证了其在多标签图像分类，目标检测，语义分割等任务的泛化性，以及其在迁移学习中的有效性。

Jun, 2020

一个概率模型解释自监督表示学习

自监督学习在生成的潜在变量模型和对比方法的框架下，提出了一种能够改善性能、实现任务无关性表示的方法。

Feb, 2024

基于聚类的对比学习，以提高人脸表征

本文提出了一种名为 CCL 的基于聚类的对比学习方法，利用聚类得到的标签和视频约束来学习具有区分性的人脸特征，展示了该方法在视频人脸聚类的表征学习任务上的显著成果。

Apr, 2020