Feb, 2019

对比无监督表示学习的理论分析

PDF
TL;DR本文提出了一种理论框架以分析对比学习的算法，并引入潜在类别假设，该框架使我们能够在平均分类任务上证明学习表示的性能。同时，该文还表明，学习表示可以降低下游任务的（标记）样本复杂度。
contrastive learningfeature representationsclassification taskslatent classesgeneralization bound
发现论文，激发创造
  • 对比估计方法揭示线性模型中主题后验信息

    本文探讨了对比学习在文档分类中的应用。与传统方法相比，利用对比学习方法能更好的学习到文档的表征，并通过实验证明线性分类器利用这些表示能提高文档分类的准确性。

    Mar, 2020

  • 无偏置对比学习

    提出了一种能够在缺少真实标签情况下，通过对不同标签数据进行负采样，纠正样本中同标签数据的影响的去偏置对比损失函数，实验证明该函数在视觉、语言和强化学习领域的表示学习中均优于现有的方法，并建立了下游分类任务的泛化界限。

    Jul, 2020

  • 学习弱监督对比表示

    本文提出了一种二阶段的弱监督对比学习方法，第一阶段根据辅助信息对数据进行聚类，第二阶段在同一簇中学习相似的表征和不同簇的数据的不相似的表征。通过实验表明，与传统的自监督表示相比，辅助信息注入表示使性能更接近于监督表示。同时，本方法在与其他基线表示学习方法进行比较时表现最佳，并且其也适用于无监督构建簇，展示了强大的无监督表示学习方法。

    Feb, 2022

  • 对比预测编码的表示学习

    本研究提出了一种普适的无监督学习方法 Contrastive Predictive Coding，通过使用强大的自回归模型在潜在空间中预测未来来提取高维数据的有用表示，以此学习有用的表示并在语音，图像，文本和三维环境中的强化学习中实现了强大的表现。

    Jul, 2018

  • 多任务自监督时间序列表示学习

    本文提出了一种新的时间序列表示学习方法，通过自监督任务的上下文、时间和转换一致性，结合不确定性加权方法，实现了多任务学习和跨领域传递学习，进而在时间序列分类、预测和异常检测等下游任务中取得了更好表现。

    Mar, 2023

  • 一个概率模型解释自监督表示学习

    自监督学习在生成的潜在变量模型和对比方法的框架下，提出了一种能够改善性能、实现任务无关性表示的方法。

    Feb, 2024

  • 对比自监督学习中的文本转换方法综述

    本综述论文探讨了如何在自监督学习中使用对比学习方法来改善文本表示学习，并介绍了现有方法的优缺点和局限性。

    Mar, 2022

  • GroupContrast：语义感知的自监督学习用于三维理解

    自我监督的 3D 表示学习旨在从大规模未标记的点云中学习有效的表示。我们提出了 GroupContrast，一种将分段分组和语义感知对比学习相结合的新方法，通过分段分组提高语义一致性并为后续的对比表示学习提供语义指导，从而减轻了 “语义冲突” 问题。

    Mar, 2024

  • 弱监督对比学习

    提出了一种基于弱监督对比学习的框架 (WCL)，该框架使用两个投影头进行正则的实例区分任务，一头使用基于图形的方法找到相似的样本并生成弱标签，另一头使用这些弱标签进行有监督的对比学习任务，以拉近相似图像之间的距离。WCL 旨在解决现有对比学习框架中的类冲突问题，并在不同的数据集上提高了自监督表示品质，尤其是在半监督学习中达到了新的最优结果。

    Oct, 2021

  • 对比学习作为核逼近

    通过对无标签数据进行对比学习，可以生成低维的特征向量表示，这些特征向量可以作为输入来提高有标签数据上的监督学习系统的准确性，并探讨了对比损失函数的最小化器及其与以往学习无标签数据方法的关系。

    Sep, 2023