本研究提出了一种受限参数正则化（CPR）方法，与传统的权重衰减相比较，CPR 通过对单个参数组的统计度量（例如 L$_2$ 范数）施加上限，从而在学习过程中避免了显式的标量系数。通过应用增广 Lagrangian 方法解决这个约束优化问题，CPR 能够根据不同参数组实现不同的正则化强度，且在运行时没有明显的开销。通过 grokking 现象、图像分类和语言建模的实验证明了 CPR 的有效性，其在抑制 grokking 效果方面表现突出，并且始终与或超过传统权重衰减的性能表现一致。

Nov, 2023

本研究分析了具有二元标签的可分线性分类任务序列的持续学习，并理论上表明，使用弱正则化的学习将归结为解决顺序最大间隔问题，对应于凸集投影（POCS）框架的特殊情况。然后，我们在包括周期和随机任务排序在内的各种设置下开发了关于遗忘和其他感兴趣量的上限。我们讨论了对流行的训练实践（如正则化调度和加权）的几个实际影响，并指出了我们的持续分类设置与最近研究的持续回归设置之间的几个理论差异。

Jun, 2023

通过分析深度神经网络中特征提取层的激活输出，我们发现修正后的类内特征协方差和跨类原型分离是误分类概率的基本切比雪夫上界的关键组成部分，我们将其称为切比雪夫原型风险（CPR）。我们的实验结果显示，我们的训练算法在多个数据集和网络结构中减少了过拟合，并改进了先前方法。

Apr, 2024

研究了自监督学习法在不重放机制的连续性学习中的应用，提出了一种新的 Projected Functional Regularization 方法，解决了学习新特征时遗忘以前学到信息的问题，取得了竞争性能。

Dec, 2021

本文提出了一种正则化连续学习的新视角，将其定义为每个任务损失函数的二阶 Taylor 近似，得到了一个可实例化的统一框架，并研究了优化和泛化特性，理论和实验结果表明二阶 Hessian 矩阵的精确近似非常重要。

Jun, 2020

基于连续优化策略正则化（COPR）方法，该研究提出了一种从人类反馈进行强化学习的方法，用于改进大型语言模型与人类偏好的一致性，并通过使用抽样分布和正则化限制来克服连续学习中的挑战，防止历史偏好的灾难性遗忘，并在实验证明 COPR 在奖励评估、GPT-4 评估和人类评估方面优于强对照模型，并在不同的连续学习设置下验证了 COPR 的鲁棒性。

Feb, 2024

本文介绍了一种新的基于神经网络的连续学习算法 UCL，该算法通过引入新的 Kullback-Leibler 散度项解决了正则化方法的两个主要问题，并在监督学习任务和强化学习任务中表现出超过最新技术的优异性能。

May, 2019

我们对基于正则化的连续学习在一系列线性回归任务中进行了统计分析，重点在于不同正则化项如何影响模型性能。我们推导了作为先验估计器的收敛速率，考虑了由矩阵值超参数索引的广义 l2 正则化算法族，包括最小范数估计器和连续岭回归作为特例。随着任务的增加，我们推导了广义 l2 正则化估计器的估计误差的迭代更新公式，从中确定了导致最佳算法的超参数。有趣的是，超参数的选择能够有效平衡前向和后向知识转移的权衡，并适应数据异质性。此外，我们明确地推导出最佳算法的估计误差，它与先验估计器的误差同阶。相比之下，我们的最小范数估计器和连续岭回归的下界显示了它们的子优性。我们的理论分析的副产品是提出了在连续学习中早停和广义 l2 正则化之间的等价性，这可能具有独立的研究价值。最后，我们进行实验以补充我们的理论。

Jun, 2024

本文研究在神经网络中加入惩罚输出分布熵的正，则可以有效防止过拟合，并且可以通过最大熵的置信惩罚和标签平滑相连，取得了基于图像识别、语言建模、机器翻译和语音识别的 6 个数据集的最新成果。

Jan, 2017

本文介绍了一种基于回放的持续分类学习方法，称为 “条件重放”，该方法通过从以类为条件的分布中进行采样生成样本和标签。作者将条件重放与另一种基于回放的持续学习范式（称为 “边际重放”）进行了比较，并在新的和标准的 MNIST 和 FashionMNIST 数据集构建的基准测试中展示了这种方法的有效性，并与基于正则化的 “弹性权重合并”（EWC）方法进行比较。

Oct, 2018