Mar, 2021

强混合连续时间随机过程的对比学习

PDF
TL;DR本研究研究了时间序列的情况，特别是从一个强混合连续时间随机过程中获取数据。我们展示了适当构造的对比学习任务可以用于估计扩散情况下小到中等范围间隔的转移核。此外，我们给出了解决这个任务的样本复杂度界限，并定量表征了对比损失值对学习核分布密切性的影响。作为副产品，我们阐明了对比分布的恰当设置，以及在这个设置中的其他超参数。
contrastive learningself-supervised methodstime seriestransition kernelsample complexity bounds
发现论文，激发创造
  • 对比学习作为核逼近

    通过对无标签数据进行对比学习，可以生成低维的特征向量表示，这些特征向量可以作为输入来提高有标签数据上的监督学习系统的准确性，并探讨了对比损失函数的最小化器及其与以往学习无标签数据方法的关系。

    Sep, 2023

  • 对比学习反转数据生成过程

    使用 InfoNCE 系列的 feedforward 模型通过隐式反转观察数据的基础生成模型来实现使学习到的表示方法适用于大量下游任务的目标，这种理论强调了对比学习，生成建模和非线性独立成分分析之间的基本联系，为推导出更有效的对比损失提供了理论基础。

    Feb, 2021

  • 对比估计方法揭示线性模型中主题后验信息

    本文探讨了对比学习在文档分类中的应用。与传统方法相比，利用对比学习方法能更好的学习到文档的表征，并通过实验证明线性分类器利用这些表示能提高文档分类的准确性。

    Mar, 2020

  • 可证明的对比式继续学习

    通过对前一任务的训练损失进行理论分析建立了性能保证的理论解释并提出了一种新的自适应蒸馏系数的对比式连续学习算法 CILA，该算法在标准基准测试中取得了显著的改进和最新的最佳性能。

    May, 2024

  • 自监督学习中的对比神经过程

    本文提出了一种新的自监督学习框架，将对比学习与神经过程相结合，用于时间序列预测，实现数据的增强和避免手动设计数据增广，利用我们的方法训练的 ResNet 和线性分类器在工业、医疗和音频数据集上表现良好，精度提高 10％以上。此外，我们证明了我们的自监督表示在潜空间中更有效，改善了多个聚类指标，同时微调 10％的标签可达到与全监督学习相竞争的结果。

    Oct, 2021

  • 对分布偏移下对比学习和自训练的互补优势

    自学习和对比学习已经成为将无标签数据纳入研究中的领先技术，无论是在分布偏移（无监督领域适应）的情况下还是在不存在分布偏移（半监督学习）时。然而，尽管这些技术的流行和兼容性，它们在组合中的有效性尚未被探究。在本文中，我们对这种组合进行了系统的实证研究，发现在领域适应设置中，自学习和对比学习可以提供显著的互补优势；而在半监督学习设置中，令人惊讶的是，两种方法并不具有协同效应。通过八个分布偏移数据集的实验（如 BREEDs，WILDS），我们证明了综合方法比任一方法都可获得 3-8％的更高准确度。然后，我们在分布偏移的简化模型中对这些技术进行了理论分析，证明了对比学习产生的特征可以为自学习提供良好的初始化，进而增强收益并实现最佳性能，即使单独应用方法可能会失败。

    Dec, 2023

  • 对比学习是基于相似度图的谱聚类

    本文研究了对比学习的等价性和理论基础，并建立了对比学习与谱聚类算法之间的等价性。同时，我们探讨了多模态对象是如何相似地嵌入在一起的，并提出了一种新的核混合损失，相较标准高斯核在几个视觉数据集上有更好的表现。

    Mar, 2023

  • 对比学习用于无似然推断

    该研究探讨了两种不需要概率似然函数的方法来处理具有随机模拟器模型的参数推断问题，分别是通过分类器学习隐含的密度比例和构建条件分布进行参数后验的灵活神经密度估计。研究表明这两种方法可以共同运行于一种对比学习策略下，并详细解释了它们如何运行和相互比较。

    Feb, 2020

  • 对比学习在天体物理学中的简要评述

    本文介绍对比学习（Contrastive Learning）是一种自监督机器学习算法，可从多维数据集中提取信息，特别适用于天文学中的已知仪器效应去除和使用有限数量标签进行监督分类和回归，是开展天文学基础模型的一个有前途的途径。

    Jun, 2023

  • 对比学习的少样本分类

    本文提出了一种新的对比学习框架，将其无缝地整合到预训练阶段和元训练阶段，以提高少样本分类的性能，并使用交叉视图的情节训练机制进行最近的质心分类，并采用基于距离缩放的对比损失。

    Sep, 2022