本文提出了一种将稀疏组套索的正则化器添加到深度学习中的一类自适应优化器中，经过实验验证在同等稀疏度下模型性能得到了显著提升。该方法在广告点击数据集上应用效果显著。

Jul, 2021

提出了一种用于高效学习稀疏模型的新方法，该方法能够自动修剪冗余参数而不降低模型的预测能力，并且避免了重新训练的需要。通过理论分析和设计的修剪和数据选择策略，实验结果表明该方法在减少存储和计算资源的同时，能够在连续学习任务上达到与现有方法相媲美的性能。

Jan, 2024

本文提出了一种名为 Sparse Continual Learning（SparCL）的新框架，通过权重稀疏性、数据效率和梯度稀疏性的协同作用来实现训练加速和准确性保持，并且在资源受限的环境下，基于稀疏性的连续学习可以实现成本效益。

Sep, 2022

探讨了深度神经网络、特征选择和优化之间的关系，并通过引入 Group Lasso penalty 的方法，同时解决了三个问题，证明此方法可以在大规模分类任务上有效地实现。

Jul, 2016

连续学习是指智能系统在尽可能少的计算开销下，从数据流中顺序获取和保留知识的能力。本研究通过对 Dynamic Sparse Training (DST) 的不同组成部分在连续学习范式下的影响进行了首次实证研究，以填补重要的研究空白并为连续学习中 DST 的最佳配置提供清晰的指导。通过在著名的 CIFAR100 和 miniImageNet 基准测试数据集上进行全面的研究，研究人员发现在低稀疏度水平下，Erdos-Renyi Kernel (ERK) 初始化能更有效地利用主干网络并实现任务增量的有效学习，而在高稀疏度水平下，均匀初始化展现出更可靠和稳健的性能。对于增长策略，性能取决于定义的初始化策略和稀疏度程度。最后，DST 组成部分内的适应性是提升连续学习效果的有希望的方法。

Aug, 2023

本文介绍了一种新的基于神经网络的连续学习算法 UCL，该算法通过引入新的 Kullback-Leibler 散度项解决了正则化方法的两个主要问题，并在监督学习任务和强化学习任务中表现出超过最新技术的优异性能。

May, 2019

通过一种新的神经再参数化方法，即对角线分组线性神经网络，研究了梯度下降对结构稀疏性的隐式正则化。与现有方法相比，我们的方法证明了最小化正则化和模拟下降无法模拟我们的训练轨迹，并在一般噪声设置中分析了相应的回归问题的梯度动态和最小极小误差率。

Jan, 2023

在类增量学习场景中，利用可用模型容量提出 SpaceNet，该方法从头开始以自适应方式训练稀疏的深度神经网络，压缩每个任务的稀疏连接到较少的神经元，实现稀疏表示并降低任务之间的干扰。在多个 CL 基准测试中，SpaceNet 优于基于正则化的方法，并且比扩容的基于架构的方法性能更好，同时还实现了大幅度的内存缩减。

Jul, 2020

本文提出了一种公平性感知的梯度稀疏化方法，以及一种自适应梯度稀疏化技术，能够在控制梯度稀疏度的情况下，最小化整体训练时间，实验结果表明，相对于传统方法，通过本文所提方法，能够在有限的训练时间内提升 40% 的模型准确度。

Jan, 2020

该研究介绍了一种可以在并行或分布式设置中利用的计算效率高和随机图正则化技术，以进行深度神经网络的半监督训练，这种技术基于亲和图的合成分区进行随机梯度下降的小批量构建，证明我们的方法可以让基于图表的半监督损失函数分解成目标求和，从而方便可扩展的机器学习模型训练。实证结果显示，相比完全监督情况，当标记数据比例较低时，我们的方法显著提高了分类准确性，并在并行情况下实现了显著的收敛时间加速。

Dec, 2016