Jun, 2023

方差 - 协方差正则化提高表示学习

PDF
TL;DR本文介绍了一种名为 VCR 的正则化技术，旨在提高传输学习效果，该技术以促进具有高方差和最小协方差的学习表示为目标，从而防止网络仅关注减少损失函数的特征。作者通过各种实验验证了该方法的可行性，并开发了实现策略，表明 VCR 是一种强大且高效的方法，可用于增强监督学习和自监督学习的传输学习性能，为该领域的未来研究开辟了新的可能性。
发现论文，激发创造
  • 利用类别信息进行深度神经网络表示形状塑造

    本文介绍了两个基于类别信息的正则项方法（cw-CR 和 cw-VR）和两个不采用类别信息的正则项方法（CR，VR）。实验结果表明，基于类别信息的方法显著提高了 22 个数据集上 21 个任务的分类性能，其中包括 ResNet-32/110。

    Sep, 2018

  • VICReg: 自监督学习的方差不变协方差正则化

    本文介绍了一种简单、易于解释的方法 VICReg，结合了方差约束、冗余降维和协方差正则化等策略，可以解决自我监督学习中模型输出恒定向量的问题，并能在图像表征学习等多个下游任务中达到与现有方法相当的性能水平。

    May, 2021

  • 方差 - 不变性 - 协方差正则化的信息论视角

    本论文提供了关于自监督学习中方差不变性正则化（VICReg）的信息论视角，将 VICReg 目标关联到互信息最大化，并使用该关系为 VICReg 导出广义泛化界，提出了基于互信息最大化的新型自监督学习方法，该方法在性能方面优于现有方法。

    Mar, 2023

  • 降低方差强化学习的控制规范化

    介绍了一种基于功能正则化方法的强化学习中的高性能方案，可以相对于一个策略先验进行行为的规则化，进而获得偏差 - 方差的平衡来降低高方差的挑战，并通过自适应调整策略先验，保证稳定性和更高的学习效率

    May, 2019

  • 通过让表示分离来减少深度神经网络的过拟合

    研究如何在深度神经网络的训练中避免过拟合问题，提出了一种新的正则化方法 DeCov，通过最小化隐藏层激活的交叉协方差，鼓励深度神经网络表现出多样化或非冗余的表示。实验结果表明，这种方法可以显著减少过拟合，并提高泛化性能。

    Nov, 2015

  • 随机回归正则化 CNN 迁移学习

    该论文提出了一种基于自适应框架的 CNN 正则化方法，在目标领域使用有限的训练数据进行迁移学习。该方法没有明确目标，通过简单地尝试将图像表示回归到伪回归目标，动态地对 CNN 进行正则化。实验结果表明，与最近的一些最先进的方法相比，伪任务正则化改进了分类精度。

    Aug, 2019

  • 深度网络中的潜在变化因素发现

    本研究使用正则化方法增强自编码器，展示了深度学习架构可以识别和表达除分类信号以外的变化因素，并通过引入交叉协方差惩罚（XCov）方法，证明了可以分离出手写数字风格和面部主体身份等因素。研究在 MNIST 手写数字数据库，Toronto 人脸数据库和 Multi-PIE 数据集上进行，并演示了这些深度网络可以推广监督信号中的 ` 隐藏 ' 变化。

    Dec, 2014

  • 变分自编码器的一致性正则化

    本文提出了一种正则化方法来强制 Variational Auto-Encoder 的一致性，通过最小化 Kullback-Leibler（KL）散度来实现；实验结果表明该方法可以改善学习表征的质量并提高其泛化能力。

    May, 2021

  • 激活样本方差的方差正则化

    通过添加一个新的损失项，将神经网络激活函数的方差稳定下来，使其围绕几个不同的模式分布，并将这种正则化项与 batchnorm 方法联系起来，提高了卷积神经网络和全连接网络的准确性。

    Nov, 2018

  • 超球面一致性正则化

    本文介绍了一种基于共享特征编码器的监督学习和无监督学习的联合训练方式，结合自监督学习和有标签信息可以提高性能，但该方案仍存在分类器偏差问题。因此，提出了一种名为超球面一致性正则化 (HCR) 的简单但高效的方法来避免标签偏差问题，通过特征依赖信息对分类器进行正则化。该方法通过最小化二元交叉熵的成对距离相似性度量来实现数据点具有相似结构，实验证明该方法在半监督和弱监督学习中表现优异。

    Jun, 2022