AAAISep, 2018

利用类别信息进行深度神经网络表示形状塑造

PDF
TL;DR本文介绍了两个基于类别信息的正则项方法（cw-CR 和 cw-VR）和两个不采用类别信息的正则项方法（CR，VR）。实验结果表明，基于类别信息的方法显著提高了 22 个数据集上 21 个任务的分类性能，其中包括 ResNet-32/110。
deep learningregularizationclass-wise regularizersrepresentation shapingclassification performance
发现论文，激发创造
  • 方差 - 协方差正则化提高表示学习

    本文介绍了一种名为 VCR 的正则化技术，旨在提高传输学习效果，该技术以促进具有高方差和最小协方差的学习表示为目标，从而防止网络仅关注减少损失函数的特征。作者通过各种实验验证了该方法的可行性，并开发了实现策略，表明 VCR 是一种强大且高效的方法，可用于增强监督学习和自监督学习的传输学习性能，为该领域的未来研究开辟了新的可能性。

    Jun, 2023

  • VICReg: 自监督学习的方差不变协方差正则化

    本文介绍了一种简单、易于解释的方法 VICReg，结合了方差约束、冗余降维和协方差正则化等策略，可以解决自我监督学习中模型输出恒定向量的问题，并能在图像表征学习等多个下游任务中达到与现有方法相当的性能水平。

    May, 2021

  • 降低方差强化学习的控制规范化

    介绍了一种基于功能正则化方法的强化学习中的高性能方案，可以相对于一个策略先验进行行为的规则化，进而获得偏差 - 方差的平衡来降低高方差的挑战，并通过自适应调整策略先验，保证稳定性和更高的学习效率

    May, 2019

  • 参数正则化中的新视角：约束方法

    本研究提出了一种受限参数正则化（CPR）方法，与传统的权重衰减相比较，CPR 通过对单个参数组的统计度量（例如 L$_2$ 范数）施加上限，从而在学习过程中避免了显式的标量系数。通过应用增广 Lagrangian 方法解决这个约束优化问题，CPR 能够根据不同参数组实现不同的正则化强度，且在运行时没有明显的开销。通过 grokking 现象、图像分类和语言建模的实验证明了 CPR 的有效性，其在抑制 grokking 效果方面表现突出，并且始终与或超过传统权重衰减的性能表现一致。

    Nov, 2023

  • CAR: 语义分割的类别感知正则化

    本文提出了一种基于类别感知的正则化方法，通过优化特征学习过程中的类内方差和类间距离来更有效地利用类别信息，该方法可以应用于大部分现有的分割模型，并且可以在不增加推理开销的情况下显著提高它们的准确性。

    Mar, 2022

  • 基于增强的一致性正则化分类

    本文提出了一种基于数据增强的一致性正则化框架 CR-Aug，利用停止梯度操作来提高支持向量器的泛化能力，并表明 CR-Aug 的效果显著优于基线方法。

    May, 2022

  • 超球面一致性正则化

    本文介绍了一种基于共享特征编码器的监督学习和无监督学习的联合训练方式，结合自监督学习和有标签信息可以提高性能，但该方案仍存在分类器偏差问题。因此，提出了一种名为超球面一致性正则化 (HCR) 的简单但高效的方法来避免标签偏差问题，通过特征依赖信息对分类器进行正则化。该方法通过最小化二元交叉熵的成对距离相似性度量来实现数据点具有相似结构，实验证明该方法在半监督和弱监督学习中表现优异。

    Jun, 2022

  • 方差 - 不变性 - 协方差正则化的信息论视角

    本论文提供了关于自监督学习中方差不变性正则化（VICReg）的信息论视角，将 VICReg 目标关联到互信息最大化，并使用该关系为 VICReg 导出广义泛化界，提出了基于互信息最大化的新型自监督学习方法，该方法在性能方面优于现有方法。

    Mar, 2023

  • 正则化和数据增强对类别的影响

    研究表明，现有的数据增广和权重衰减等正则化技术会导致模型在某些类别上性能下降，从而证明需要研究不带类别偏差的新型正则化技术。

    Apr, 2022

  • 局部约束异相关性正则化卷积神经网络

    本文介绍了一种名为 OrthoReg 的深度学习正则化技术，通过局部强制特征正交性，有效减少负相关特征权重之间的干扰，提高了特征去相关化的效果，降低了过拟合现象，可用于多种卷积神经网络数据集。

    Nov, 2016