Feb, 2023

对比表示学习的泛化分析

PDF
TL;DR本文提出了可对比学习的新型概率界，它不依赖于 $k$ 的值，直到对数项。采用实证涵盖数和 Rademacher 复杂性的构造结果，从而利用损失函数的 Lipschitz 连续性，进一步发展了乐观界，并应用于学习线性与非线性表示的深度神经网络，进而导出了 Rademacher 复杂性中精确的学习界。
contrastive learninggeneralization analysisempirical covering numbersrademacher complexitieslipschitz continuity
发现论文，激发创造
  • 深度学习的泛化界限

    本研究提出了关于深度学习的泛化误差的准则，介绍了一种基于边际似然的 PAC-Bayesian Bound 方法来预测泛化误差，并进行了广泛实证分析以评估该方法的效果和特性。

    Dec, 2020

  • 度量学习和相似度学习的泛化误差界

    本文利用 U 统计和 Rademacher 复杂性分析方法，针对度量学习和相似度学习，推导出了一种新的泛化边界方法，证明了 L1 范数正则化的稀疏度量学习和相似度学习可能比 Frobenius 范数正则化的模型具有更好的边界效果。

    Jul, 2012

  • 对比学习的最优样本复杂度

    对比学习是一种学习数据表示的高效技术，研究文章主要关注对比学习的样本复杂度、维度表示和泛化准确性，并通过给出相关问题的 Vapnik-Chervonenkis/Natarajan 维度的界限来证明其在整数 p 的情况下所需的标记样本数量的几乎最优复杂度。

    Dec, 2023

  • 对比学习可寻找大致视角不变函数的最优基础

    本文阐述了对比学习的核函数学习方法，将其应用于 PCA 表征中，证明其具有良好的泛化性能。研究基于正对偶马尔科夫链的特征值分解方法，经实验证明表征的准确性取决于核函数参数和增强强度。

    Oct, 2022

  • 深度学习中鲁棒性泛化为何困难：表现能力的视角

    本文从深度神经网络的表达能力角度出发，研究了针对现代神经网络的对抗样本问题解决方法的普适性，提出了分析鲁棒性泛化间难以弥合距离的矛盾问题的理论框架。

    May, 2022

  • 深度卷积神经网络的泛化界

    本文基于 CIFAR-10 数据集的实验结果，提出卷积神经网络泛化误差的边界，包含训练损失、参数数量、损失函数的 Lipschitz 常数和权重与初始值的距离，且不受输入像素数和隐藏特征图的高度与宽度限制，最后与具体的实验结果进行对比。

    May, 2019

  • 类别通用化误差：一种信息理论分析

    现有的监督学习泛化理论通常采用整体方法，并提供整个数据分布的期望泛化界限，这暗示了模型对所有类别的泛化情况相似。然而，在实践中，不同类别之间的泛化性能存在显著差异，这不能被现有的泛化界限所捕捉。本文通过在理论上研究类别泛化误差来解决这个问题，该误差量化了每个个体类别的泛化性能。我们使用 KL 散度推导出了一种新的信息论界限来度量类别泛化误差，并进一步利用条件互信息 (CMI) 获得了几个更紧的界限，这在实践中更容易估计。我们在不同的神经网络中经验证实了我们提出的界限能准确捕捉复杂的类别泛化误差行为。此外，我们还展示了本文所开发的理论工具能够应用在其他多个领域。

    Jan, 2024

  • 寻求鲁棒的泛化测量方法

    本文讨论了深度学习中的一项科学挑战，即解释归纳泛化问题，通过关注经验性评估方法，提出了将泛化度量评估纳入分布强健性框架的看法。

    Oct, 2020

  • 探索负样本在对比度表示学习中的作用

    该研究讨论了无监督学习中噪声对比学习的技术以及负样本的数量对其效果的影响，包括从理论和实践两个层面考察了负样本在 NLP 和视觉领域中的作用和效果。

    Jun, 2021

  • 走向对比自监督学习的泛化

    研究了自我监督学习中一种流行的方法 —— 对比学习，在此基础上通过数学量化数据增强方法的度量，探讨了其泛化能力与三个关键因素的相关性 —— 正样本的一致性、类中心的分离度以及数据增强的集中度，并使用实验验证了后者对最终性能的影响。

    Nov, 2021