使用 WERank 作为网络权重参数的正则化方法，在自监督学习中防止降维，提高图表自监督学习的效果。

Feb, 2024

通过引入 'weight-sharing regularization' 为神经网络定义了目标函数，并研究了其近端映射，同时介绍了解释为相互作用粒子的物理系统观点。基于该观点，设计了一种新的并行算法用于近端映射，相较于之前的算法具有指数级加速度，深度为 O (log^3 d)。通过该算法，可以使用近端梯度下降训练采用 weight-sharing regularization 的深度神经网络。实验表明，weight-sharing regularization 能够使全连接网络学习类似卷积操作的滤波器。

Nov, 2023

我们提出并分析了一种高效的算法，用于解决联合稀疏恢复问题，采用一种名为正交加权 ℓ2,1 （owℓ2,1）的新的正则化方法，专门设计用于考虑解矩阵的秩。该方法在特征提取、矩阵列选择和词典学习等方面有应用，与常用的 ℓ2,1 正则化和其他现有的正则化方法不同，因为它可以利用行稀疏解矩阵的完全秩，这是许多应用中的关键特性。我们提供了该方法秩感知性质的证明，建立了所提优化问题的解的存在性，并开发了一个高效的算法来求解该问题，并对其收敛性进行了分析。我们还展示了数值实验，以说明理论并展示我们的方法在实际问题上的有效性。

Nov, 2023

本文提出了一种基于 Laplacian quadratic 的罚函数的稀疏 Laplacian 收缩（SLS）方法，该方法能在鼓励稀疏性和促进相关预测变量之间平滑性的前提下，具有图表示的广义分组特性，并通过坐标下降算法进行计算。该方法表现优异且拥有选定一致性，适用于高维数据下的变量选择和估计。

Dec, 2011

AdamW 在语言建模任务中表现出优越的性能，优于具有正则化 l2 项的 Adam 算法，本文通过分析表明 AdamW 隐式地进行了约束优化。

Apr, 2024

本文研究了使用梯度下降与权重归一化进行训练的经过参数化的模型所具有的内在偏向性，并证明了权重归一化的方法可以在对角线性模型中具有稀疏解的内在偏向性。

May, 2023

通过使用一个具有稀疏性的权重正则化模型来提供一个具有全局收敛性的算法，以实现数据融合中的样本和特征选择；此外，通过在多视图数据融合中扩展模型来支持具有相同样本集的多视图数据，进一步提高算法的效率。

Aug, 2023

本文提出了一种基于 l_p 正则化无约束极小化问题的新方法，包括通过闭形式求解每个子问题的 IRL1 和 IRL2 变体，以及这些方法的收敛性分析和基于唯一的 Lipschitz 连续的 ε- 近似的新 IRL1 方法。我们的计算结果表明，该方法对于目标函数值和 CPU 时间通常比现有的 IRL1 方法更稳定。

Sep, 2012

本文介绍了一种新的损失函数，名为混合常规 - 威尔士（HOW），以及与 HOW 相关的一种新的稀疏诱导正则化项。我们从理论上证明了该正则化项是准凸的，其对应的 Moreau 包络是凸的。此外，我们推导出该 Moreau 包络（即接近算子）的闭式解。与需要通过迭代来寻找相应接近算子的 0<p<1 的 lp - 范数之类的非凸正则化项相比，我们开发的正则化项具有闭式接近算子。我们将该正则化项应用于鲁棒矩阵完成问题，并基于交替方向乘法算法开发了一种高效算法。对所提出方法的收敛性进行了分析，并证明了任何生成的累积点都是一个驻点。最后，基于人工合成和真实数据集的实验结果表明，我们的算法在恢复性能方面优于现有方法。

Oct, 2023

本文提出了一个解决低秩和 / 或稀疏矩阵最小化问题的一般框架，使用迭代重新加权最小二乘（IRLS）方法来解决混合低秩和稀疏最小化问题，例如用于解决 Schatten-p 规范和 ell_2,q-norm 规范的低秩表示问题，理论证明了所获得的解为静止点，并在合成和实际数据集上进行了广泛的实验以证明其有效性。

Jan, 2014