通过信息论分析深度学习及神经网络，研究在训练过程中神经网络获取的信息，提出了限制权值中标签噪声信息的学习算法，并提出了样本信息度量概念，探究了神经网络在非典型、模棱两可或属于代表性较弱群体的情况下的行为，导出了非平凡的泛化表现界限，并通过知识蒸馏研究，证明了数据和标签复杂度在泛化中的重要作用。该论文深入研究了神经网络的泛化机制，有益于更深层次地理解此领域的相关知识。

Jun, 2023

该篇论文提出了一种纠正深度神经网络中标签不准确的技术：通过增加一个噪声模型的 softmax 层，采用端到端的随机梯度下降来优化网络以及噪声模型，借助 dropout 正则化防止噪声模型过于简单。在 CIFAR-10 和 MNIST 数据集上的数值实验显示，该 dropout 技术优于最先进的方法。

May, 2017

本文提出了基于顾问网络的新概念，旨在解决图像分类中存在噪声标签的问题。通过元学习方法训练顾问网络，不仅可以提高分类器的性能，还可以利用含有噪声标签的数据。该方法在 CIFAR10、CIFAR100 和 Clothing1M 数据集上的实验结果显示出了最先进的效果。

Nov, 2022

提出了一种基于早期学习的新型噪声分类技术框架，使用半监督学习的目标概率和正则化项，防止深层神经网络过于依赖错误标注而导致的过拟合现象。测试结果表明，该方法在多个标准基准数据集和实际数据集上均能达到与现有先进技术可比的鲁棒性。

Jun, 2020

提出一种使用 MW 重新加权示例的神经网络优化方法，该方法在标签存在噪声的情况下稳健且可提高准确性，同时不会影响其对抗鲁棒性。

Feb, 2021

使用统计和信息理论的已建立原则，我们展示了深度神经网络中对无关因素的不变性等同于学习表示的信息最小性，而叠加层和在训练期间注入噪声自然偏向于学习不变表示。我们进一步分解了训练过程中使用的交叉熵损失，强调了内在的过拟合项。我们提出通过两种等效方式来限制这样的项的正则化损失：一种是使用 Kullbach-Leibler 项，它与 PAC-Bayes 视角相关；另一种是使用权重中的信息作为学习模型复杂度的度量，从而为权重提供了一种新的信息瓶颈。最后，我们展示出在神经网络中学习到的表示组件的不变性和独立性在权重中的信息上限和下限是有界的，因此在训练过程中自动优化。该理论使我们能够量化和预测使用我们的正则化损失时随机标签下欠拟合和过拟合之间的尖锐相变，我们通过实验证实了这一点，并阐明了损失函数的几何形状、学习表示的不变性属性和泛化误差之间的关系。

Jun, 2017

通过在训练数据的特征上直接添加噪声，可以增强标签噪声下深度神经网络的泛化能力，并且通过对模型权重和特征之间的互信息施加上界来约束 PAC-Bayes 泛化界限，进一步确保深度神经网络在标签噪声下的有效泛化。

Aug, 2023

本文提出了一种新颖的正则化算法，用于训练具有严重偏差的深度神经网络，该算法可以有效地消除特征嵌入中的偏差信息。

Dec, 2018

本研究提出了一种基于韦布尔混合模型的迭代选择方法来识别干净数据，从而减少网络记忆对虚假标签数据的影响，在模型训练中使用最终的干净子集。

Jun, 2023

在深度学习中添加一种正则化项，即注入信息失真噪声，可以更好地强制执行最优表示的关键属性。信息 dropout 是对 dropout 的一种改进，可以更好地适应数据和网络结构，同时可以生成区分度良好的表示。

Nov, 2016