ICLRJan, 2017

惩罚自信输出分布以正则化神经网络

PDF
TL;DR本文研究在神经网络中加入惩罚输出分布熵的正，则可以有效防止过拟合，并且可以通过最大熵的置信惩罚和标签平滑相连，取得了基于图像识别、语言建模、机器翻译和语音识别的 6 个数据集的最新成果。
neural networksregularizationentropylabel smoothingsupervised learning
发现论文，激发创造
  • 广义熵正则化或者：标签平滑并没有什么特别之处

    研究发现标签平滑具有不可避免的局限性，提出了一族熵正则化技术以解决这一问题，并探究其对语言生成任务中模型性能和稀疏性的影响。

    May, 2020

  • 结构标签平滑正则化

    本文研究标签平滑的结构化方法，通过对训练数据中真实标签进行软化处理，有助于避免过度自信的输出，提高神经网络泛化能力的同时，兼顾不同训练数据的特性，为机器学习领域中的正则化技术提供了一种有效的手段。实验结果表明，该方法在合成与各类真实数据集中均取得了较好的性能表现。

    Jan, 2020

  • 自知自明的自适应标签平滑在自然语言生成中的应用

    提出一种基于模型概率分布的标签平滑正则化方法，使每个样本的平滑程度都不同，从而在训练期间动态自我调整平滑程度，有效提高模型的泛化和校准性能。

    Oct, 2022

  • 基于混淆惩罚的标签平滑化方法用于组织病理学图像的正则化 CNN

    该论文介绍了一种基于混淆惩罚的新型标签平滑技术，相较于传统方法，针对每个类别的模型混淆给予更高的重视，通过对公开可用的结直肠组织学数据集进行广泛实验，并与最先进的方法进行对比，通过可靠性图和特征空间的 t 分布随机邻居嵌入图表明了该方法的有效性。

    Mar, 2024

  • 神经符号熵正则化

    本文介绍了一种统一 neuro-symbolic 和 entropy regularization 的框架，并提出了一种神经符号熵正则化损失函数，用于半监督和全监督结构化预测实验中的有效性测试。

    Jan, 2022

  • 输出正则化为什么可以缓解标签噪声问题探究

    本研究探讨利用输出正则化来缓解标签噪声对于损失函数的影响，发现当正则化系数趋于无穷大时，这些损失函数变得对称且稳健。因此，正则化系数可以被看作控制对称性和噪声鲁棒性的超参数。

    Apr, 2021

  • 深度神经网络的置信度感知学习

    本文提出了一种基于 Correctness Ranking Loss 的深度神经网络训练方法，可以对类别概率进行显式的正序排名，提高置信度预测。该方法易于实现，不需要额外的计算代价，适用于现有体系结构，并且在分类基准数据集上表现良好。同时，还对置信度估计相关的任务，如超出分布检测和主动学习，具有相同的可靠性。

    Jul, 2020

  • 通过稀疏正则化进行有噪标签学习

    本文提出一种基于限制网络输出在固定向量置换集合上的稀疏正则化策略，旨在解决标签噪声存在时常用精度损失函数容易过拟合或欠拟合的问题，结果表明该方法在存在噪声标签和类不平衡情况下能够显著提高精度和优于现有方法。

    Jul, 2021

  • 针对不确定性感知知识蒸馏的简单正则化

    本研究探讨一种简单的正则化方法，用于将多个机器学习模型的集成逐一蒸馏到一个神经网络中，以达到保持多样性，精度和不确定性估计特性的目的。

    May, 2022

  • 对大幅扰动输入进行惩罚并不提高问答任务中对分布外泛化的能力

    针对问题回答模型在面对大幅扰动时仍能自信地给出正确答案但无法泛化到其他领域和对抗测试集的问题，本文提出通过限制多种扰动类型的模型输出熵提高泛化性能的做法，结果表明模型泛化能力随着扰动限制的增加得到一定的提升，但同时也要注意到熵最大化的副作用。

    Nov, 2022