CVPRJun, 2024

稳定间隙的扩大范围：揭示其在同质任务的联合增量学习中的存在

PDF
TL;DR在这篇论文中，我们展示了当应用于同质任务的联合增量训练时，稳定性差距也会出现。我们进一步分析了细粒度的批次分析，为潜在解决方向提供了洞见。
发现论文，激发创造
  • 克服连续学习中的稳定性差距

    通过经验重放，研究深度神经网络在持续学习中稳定性差的问题，发现一种能极大减少性能下降的方法，从而实现更高效率的学习。

    Jun, 2023

  • 终身学习中的持续评估：发现稳定性差距

    本论文提出一个连续的学习框架，旨在解决神经网络训练过程中遗忘的问题，并定义了一系列新的指标来实现对学习机的实时评估，研究表明既有重放机制又有正则化机制的在线学习方法都存在稳定性差距的问题。

    May, 2022

  • 深度神经网络训练的不一致性、不稳定性和泛化差距

    研究深度神经网络的泛化差距问题，发现模型不一致和不稳定性是影响泛化差距的关键因素，通过算法降低不一致性可以提高性能，并为现有方法（如协同蒸馏和集成学习）提供了理论基础。

    May, 2023

  • 知识共享和转移的间隙最小化

    本文提出了性能差距这一新概念，作为数据和算法依赖的正则化因子，以控制模型复杂度，并提出了性能差距最小化原则，进一步设计了知识共享和转移的策略，并应用于两种算法：gapBoost 和 gapMTNN，通过在转移学习和多任务学习基准数据集上的广泛评估表明，这些方法优于现有的基线模型。

    Jan, 2022

  • 局部弹性稳定性更好的泛化界限

    本文提出一种基于局部弹性的弱稳定性概念，用以提供具有指数通用性限制条件的机器学习算法算法稳定性，比常见的分布无关的最坏损失情况敏感性更具参考价值，该概念在支持向量机、最小二乘回归和随机梯度下降等模型中具有受限制的情况下比统一稳定性提供更紧的泛化限制条件。

    Oct, 2020

  • 稳定性边缘：如何调整超参数以在神经网络异步训练中保留最小值选择？

    研究了异步训练是如何影响神经网络的动态稳定性，发现延迟的程度与学习率交互作用，可以改变异步随机梯度下降算法所能够访问的极小值集合，并推导出调整学习率的闭式规则，同时保持可访问集合不变。结果显示，对于高延迟值，学习率应该保持反比于延迟。并且扩展到动量，发现动量应该关闭或修改以提高训练稳定性。作者提供了经验实验来验证理论发现。

    Sep, 2019

  • 关于稳定约束模仿学习的样本复杂度

    在模仿学习中，专家策略的稳定性对模仿学习任务的样本复杂度有明显的影响，本文提出了增量收益稳定性约束版本的行为克隆和 DAgger 算法，通过实验验证了依赖任务地平线的泛化界限与系统的稳定性之间的关系。

    Feb, 2021

  • 强化学习中的稳定边缘现象研究

    通过研究强化学习中的稳定性边界现象，发现优化动力学可以在不同的问题领域中发生转移，但深度强化学习的优化动力学在某些方面与监督学习不同。

    Jul, 2023

  • 通过稳定的边界学习阈值神经元

    本文研究了大学习率下神经网络训练的非凸性动态，证明了时的稳定性边界，并发现了控制阈值激活函数的第一层偏置和学习率之间的相互关系。

    Dec, 2022

  • 随机梯度下降对于配对学习的稳定性和优化误差分析

    研究了随机梯度下降优化算法在成对学习中稳定性与其与优化误差的权衡，并证明了成对学习的凸性、强凸性和非凸性稳定结果，并由此得出推广区间，同时得到了 SGD 算法的优化误差和预期风险的下限。

    Apr, 2019