本文提出了一种基于次梯度方法的新型迭代正则化形式，经过实验迭代停止可以实现广义化。在再生核希尔伯特空间的非参数设定下，我们证明了在一般正则条件下的有限样本损失风险界。本研究提供了一类高效正则化学习算法，并给出了统计学和优化学在机器学习中相互作用的见解。

Mar, 2015

本文提出了一种基于截断的异性低秩正则化方法，通过使用功率方法逼近奇异值分解以提高计算效率，相比于传统核范数正则化方法，实验结果表明所提出的方法在矩阵补全领域有更快的速度和更高的准确率。

Dec, 2015

本文阐述了机器学习中的非凸优化问题和直接方法在此领域的成功应用，旨在介绍这一领域的文献和分析非凸问题的简单程序工具。

Dec, 2017

我们提出通过学习具有预设上界的非凸正则化器。这些正则化器产生了能够最小化一个凸能量的变分去噪器。它们依赖较少的参数（少于 15000 个），并且具有信号处理的解释性，因为它们模仿手工稀疏促进的正则化器。通过数值实验，我们证明了这样的去噪器在性能上优于凸正则化方法以及流行的 BM3D 去噪器。此外，学习到的正则化器可以用于求解具有可证收敛性的迭代方案的逆问题。对于 CT 和 MRI 重建，该正则化器具有很好的泛化性能，并在性能、参数数量、保证性和可解释性等方面与其他数据驱动方法相比具有出色的平衡。

Aug, 2023

本研究旨在探讨优化非光滑非凸正则化器下的平滑非凸损失函数的随机梯度方法。我们提出了两种简单的随机梯度算法，对于有限总和和一般随机优化问题，相较于现有技术水平，其具有更优的收敛复杂度。同时，我们在经验风险最小化中比较了两种算法的实际表现。

Jan, 2019

提出了一个凸化框架，使用随机梯度方法的算法来解决不同领域的优化问题，包括监督学习和动态系统，并且导出了模型驱动和模型无关的策略梯度优化算法，收敛性得到保证。

Jun, 2014

本文提出一种新的梯度下降类型算法来解决一般的非凸和非光滑规则化的反问题，并开发了一种神经网络架构来从训练数据中自适应地学习非线性稀疏转换，该算法可以适应非凸结构的拓扑变换。数值结果表明，所提出的神经网络在各种不同的图像重建问题上的准确性和效率方面优于最先进的方法。

Mar, 2020

本论文研究了通过截断传统损失函数形成的一类客观函数，并探讨了使用截断损失函数进行非凸学习的方法，证明了外推风险边界和统计误差，建立了随机梯度下降算法找到的模糊最小值的统计误差，并通过实验证明该方法的有效性。

May, 2018

本文提出了一种连续化算法，用于解决大类别的非光滑正则化风险最小化问题，可灵活使用多个现有求解器，并对整个算法具有收敛性结果。在实验中表现优于现有方法。

Feb, 2016

研究非凸性学习任务中经验风险的精细属性（梯度）和群体对应属性的收敛速度以及收敛对优化的影响；提出矢量值 Rademacher 复杂性作为导出非凸问题梯度无维度一致收敛界的工具；给出了应用这些技术进行非凸广义线性模型和非凸健壮回归的批梯度下降方法的新分析，显示了使用任何找到近似稳定点的算法可以获得最优样本复杂度。

Oct, 2018