ICLROct, 2022

对比学习可寻找大致视角不变函数的最优基础

PDF
TL;DR本文阐述了对比学习的核函数学习方法，将其应用于 PCA 表征中，证明其具有良好的泛化性能。研究基于正对偶马尔科夫链的特征值分解方法，经实验证明表征的准确性取决于核函数参数和增强强度。
contrastive learningkernel functionspcageneralization boundsmarkov chain
发现论文，激发创造
  • 对比学习作为核逼近

    通过对无标签数据进行对比学习，可以生成低维的特征向量表示，这些特征向量可以作为输入来提高有标签数据上的监督学习系统的准确性，并探讨了对比损失函数的最小化器及其与以往学习无标签数据方法的关系。

    Sep, 2023

  • 何时可以使用神经切线核和主成分分析近似广义对比模型？

    对比学习是一种从无标签数据中学习表示的范式，在图像和文本数据方面取得了巨大成功。本文分析了双层对比模型的训练动态，并回答了这些模型何时接近于核方法或主成分分析。我们的理论结果可能适用于多层网络。

    Mar, 2024

  • 通过相似性结构理解对比学习机制：理论分析

    本文探讨了如何通过核心对比学习框架（KCL）的统计依赖性视角计算已学习的表示的相似性结构并研究了该框架的理论特性，包括分类错误上界的新证明和通向下游分类任务的 KCL 泛化性能保证。

    Apr, 2023

  • 对比估计方法揭示线性模型中主题后验信息

    本文探讨了对比学习在文档分类中的应用。与传统方法相比，利用对比学习方法能更好的学习到文档的表征，并通过实验证明线性分类器利用这些表示能提高文档分类的准确性。

    Mar, 2020

  • 理解对比学习需要融入归纳偏差

    本文指出只考虑增强方法和对比损失等因素不能充分解释对比学习的成功，需要考虑算法和函数类的归纳偏差，特别是对于线性表示，加入函数类的归纳偏差可以让对比学习在更宽松的条件下工作。

    Feb, 2022

  • 对比表示学习：框架与综述

    本篇论文提供了 Contrastive Learning 的文献综述，并提出了一个通用的 Contrastive Representation Learning 框架，该框架简化并统一了许多不同的对比学习方法，并对对比学习的各个组成部分进行了分类。对于任何对比学习系统存在的规约偏差进行了分析和讨论，将我们的框架根据各种机器学习子领域的不同视角进行了分析。最后，介绍了对比学习在计算机视觉、自然语言处理、音频处理以及强化学习等领域的应用，以及未来研究方向中的挑战和一些最有前途的研究方向。

    Oct, 2020

  • 对比无监督表示学习的理论分析

    本文提出了一种理论框架以分析对比学习的算法，并引入潜在类别假设，该框架使我们能够在平均分类任务上证明学习表示的性能。同时，该文还表明，学习表示可以降低下游任务的（标记）样本复杂度。

    Feb, 2019

  • 对比学习反转数据生成过程

    使用 InfoNCE 系列的 feedforward 模型通过隐式反转观察数据的基础生成模型来实现使学习到的表示方法适用于大量下游任务的目标，这种理论强调了对比学习，生成建模和非线性独立成分分析之间的基本联系，为推导出更有效的对比损失提供了理论基础。

    Feb, 2021

  • 带核的条件对比学习

    本文提出了一种新型的基于核函数嵌入算子的条件对比学习框架 (CCL-K)，并在弱监督，公平性和困难负样本对比学习方面进行了实验，结果表明 CCL-K 优于现有的基线模型。

    Feb, 2022

  • 强混合连续时间随机过程的对比学习

    本研究研究了时间序列的情况，特别是从一个强混合连续时间随机过程中获取数据。我们展示了适当构造的对比学习任务可以用于估计扩散情况下小到中等范围间隔的转移核。此外，我们给出了解决这个任务的样本复杂度界限，并定量表征了对比损失值对学习核分布密切性的影响。作为副产品，我们阐明了对比分布的恰当设置，以及在这个设置中的其他超参数。

    Mar, 2021