Mar, 2020

弱梯度和强梯度方向：解释尺度下的记忆、推广和难度

PDF
TL;DR本文通过对 ResNet，Inception 和 VGG 等模型的实验验证了相干梯度假设，并提出了具有可扩展性的抑制弱梯度方向的方法，这是首次令当代的监督学习提供令人信服的概括能力证据。
coherent gradientsgradient descentover-parameterized neural networksrobust mean estimationgeneralize
发现论文，激发创造
  • 相干梯度：一种理解基于梯度下降的优化中泛化性质的方法

    本文提出了一个关于如何解释神经网络使用梯度下降算法泛化能力较强的假设 Coherent Gradients，并支持该假设的启发式论证和简单实验证明。同时，该分析为防止过拟合提出了一种自然而然的梯度下降修改方法。

    Feb, 2020

  • 梯度引导的假设：在稀缺和噪声数据情境下启用机器学习模型的统一解决方案

    在本研究中，我们提出了一种架构无关的算法，梯度引导假设（GGH），旨在应对数据质量方面的挑战。GGH 通过分析假设的梯度作为数据中不同且可能相互矛盾的模式的代理来解决缺失和噪声数据问题，并通过机器学习训练中的额外步骤将梯度包含或排除在反向传播中。通过对真实开源数据集进行实验验证，GGH 显示出显著提高模型性能的能力，并且在极高的稀缺度情况下，GGH 是唯一可行的解决方案。此研究展示了 GGH 作为改善各种应用中的数据质量和模型性能的有希望的解决方案。

    May, 2024

  • 从无到有的生成一致性：测量梯度走向演变

    本文提出一种新的指标 m-coherence，用来实验性地研究训练过程中样本间梯度的对齐情况。通过使用 m-coherence，我们研究了在 ImageNet 数据集上使用 ResNet 和 Inception 模型以及带有标签噪声的几个变体时，梯度对齐的演变情况，并对其进行了详细分析，从而更深入地证实了拟合理论。

    Aug, 2020

  • 深度神经网络泛化与记忆的几何学

    通过几何分析深度神经网络的 memorization 结构及相关特征，发现较深层的 memorization 更为显著，可以通过恢复层权重预防，同时与模型几何结构和 generalization 性能有关。

    May, 2021

  • 渐变投影记忆用于连续学习

    提出一种新颖的方法，通过奇异值分解来获取梯度子空间，以进行正交梯度下降，从而减少深度神经网络在学习新任务时过度调整权重而忘记旧任务的现象。

    Mar, 2021

  • 混合粗略梯度下降用于深度神经网络的全量化

    提出了混合粗微分下降算法 (BCGD)，该算法利用了人工升高方向的粗微分来进行系数的权重更新，从而在目标值上产生足够的下降，加速了量化训练效果，并在 ImageNet 分类任务中全量化 ResNet-18 网络汇报了 64.36％的 top-1 准确率。

    Aug, 2018

  • 渐变和谐单阶段检测器

    本论文提出了一种新的梯度协调机制 (GHM)，可有效解决单级检测器在训练过程中积极和消极样例以及简单和困难样例数量巨大差异所带来的问题，进而设计了两种新的损失函数 GHM-C 和 GHM-R 用于调和梯度流以提高检测器性能。实验证明，GHM-C 和 GHM-R 在 MS COCO 的表现优于当前最先进的方法，该模型在 COCO 测试集上实现了 41.6 mAP。

    Nov, 2018

  • 学习难以改变的解释

    本文研究在深度学习中 “好的解释很难变化” 的原则，指出在梯度平均时往往偏向记忆化和拼凑的解决方案而忽视了不变性，在此基础上提出了一种基于逻辑 AND 的简单算法并在多个真实任务上进行测试。最后使用一组合成数据集和常见正则化方法进行比较。

    Sep, 2020

  • 通过块坐标几何中位下降实现高维度的稳健训练

    本文展示了在高维优化问题中，通过将几何中位数只应用于精心选择的坐标块并使用记忆机制，可以保留 0.5 的最优破坏点，以及与 Gm 的 SGD 具有可比的非渐近收敛速率。

    Jun, 2021

  • 利用缩放梯度投影进行连续学习

    本研究提出了一种基于 Scaled Gradient Projection 方法的神经网络演化学习算法，通过横跨重要梯度空间的基向量缩放梯度来避免老任务信息的灾难性遗忘，优化新学习表现，实验证明其在各种任务中性能均优于目前最先进的方法。

    Feb, 2023