Jul, 2021

数据减肥下的深度学习：在训练早期找到重要例子

HTML
PDF
TL;DR本文介绍了一种利用Gradient Normed (GraNd)和Error L2-Norm (EL2N)这两个简单的得分标准来识别深度学习中最重要的数据训练样本，并进行数据修剪以提高模型效果的方法，同时研究了数据分布对模型损失面的影响及模型中比较稳定的数据表示子空间等训练动态。
发现论文，激发创造
  • 对抗样本的统一梯度正则化方法族

    本文提出了一种统一框架来构建抵御对抗样本的强大机器学习模型，并通过梯度正则化方法有效地对代价函数的梯度进行惩罚，从而达到鲁棒性的目的。实验证明，该方法在两个基准数据集上达到了最佳精度。

    Nov, 2015

  • 关于深度学习大批量训练的广义缩小和尖峰最小化问题

    通过实验证明大批量随机梯度下降法容易陷入训练和测试函数的尖峰最小值，从而导致模型泛化能力下降，而小批量方法表现更好，这可能是由于梯度估计中的固有噪声引起的，可以采用多种策略来帮助大批量方法消除这种泛化差距。

    Sep, 2016

  • 重新思考泛化对于了解深度学习至关重要

    该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

    Nov, 2016

  • 深度神经网络学习中示例遗忘的实证研究

    研究神经网络在单分类任务训练中的学习动态，发现在缺乏明显分布偏移的数据情况下，存在相关遗忘现象，某些样例更容易被遗忘，而基于遗忘动态可以从训练数据集中省略部分例子却仍能保持最佳泛化性能。

    Dec, 2018

  • 深度网络中的动力学和泛化理论 III

    本研究通过分析深度神经网络的梯度下降技术实现，提出了控制网络复杂度的隐含规范化方法，并将其归纳为梯度下降算法的内在偏差，说明这种方法可以解决深度学习中过拟合的问题。

    Mar, 2019

  • 相干梯度: 一种理解基于梯度下降的优化中泛化性质的方法

    本文提出了一个关于如何解释神经网络使用梯度下降算法泛化能力较强的假设Coherent Gradients，并支持该假设的启发式论证和简单实验证明。同时，该分析为防止过拟合提出了一种自然而然的梯度下降修改方法。

    Feb, 2020

  • 从示例难度的角度看深度学习

    本研究采用基于个例角度的视角，引入了计算预测输入的困难程度的度量-（有效的）预测深度，发现了一些有意为之而意外的、简单的关系，进一步将困难例子分为三个可解释的组，并展示了这种理解如何提高了预测准确率，揭示了文献中一些分开探讨的现象的连贯视图。

    Jun, 2021

  • 论神经网络所学习的信息：与记忆和泛化的联系

    通过信息论分析深度学习及神经网络，研究在训练过程中神经网络获取的信息，提出了限制权值中标签噪声信息的学习算法，并提出了样本信息度量概念，探究了神经网络在非典型、模棱两可或属于代表性较弱群体的情况下的行为，导出了非平凡的泛化表现界限，并通过知识蒸馏研究，证明了数据和标签复杂度在泛化中的重要作用。该论文深入研究了神经网络的泛化机制，有益于更深层次地理解此领域的相关知识。

    Jun, 2023

  • 揭示潜在模式：研究数据集相似性、性能和泛化

    通过添加一小部分未见图片到训练集中，我们的方法可以降低训练与注释成本，提高监督式深度学习模型的泛化性能，并在动态环境中对未见数据的模型性能提供估计。

    Aug, 2023

  • 充分利用数据：改变训练数据分布以提高内分布泛化性能

    我们通过比较梯度下降（GD）和锐度感知最小化（SAM）的归纳偏差，证明了SAM在早期阶段更均匀地学习易于和困难的特征，因此我们提出了一种基于网络输出的示例聚类算法并上采样那些没有易于特征的示例，从而改善了原始数据分布上（S）GD的泛化性能。同时，我们证明该方法与SAM和现有的数据增强策略相结合，在CIFAR10、STL10、CINIC10、Tiny-ImageNet上训练ResNet18，在CIFAR100上训练ResNet34，以及在CIFAR10上训练VGG19和DenseNet121中，取得了目前最佳的性能。

    Apr, 2024