张量分解、深度学习及其超越中的全局最优性
该研究探讨如何将矩阵分解为多个稀疏矩阵，提出了一种在随机性和稀疏性假设下的算法，该算法能够恢复深度学习网络中各层之间边的结构、隐藏单元的值，矩阵分解、稀疏恢复、字典学习与深度学习之间具有密切关联。
Nov, 2013
本篇论文探讨了深度矩阵分解在矩阵补全和传感中的梯度下降隐式正则化对低秩解的影响，并发现添加深度会增强对低秩解的倾向，结果表明标准正则化的数学符号语言可能不足以完全涵盖梯度下降隐式正则化的机制。
May, 2019
通过提出一种新的结构化非凸-非凹 min-max 优化问题类，引入了一个泛化的外推方法，该方法证明收敛到一个稳定点。这种算法不仅适用于欧几里得空间，还适用于一般的l p-norm有限维实向量空间，同时对其在随机oracle条件下的稳定性和样本复杂度提供了边界。
Oct, 2020
本文研究用于解决深度学习的隐含偏差问题的梯度下降算法动态收敛性，在线性网络和估计问题上，分析梯度下降中的“有效秩”动态变化，提出了矩阵低秩投影的有效秩，为理解深度学习奠定了基础。
Nov, 2020
通过深度为 2 的矩阵分解及理论和实证证据，我们证明了梯度流（用无穷小初始化）等价于一个简单的启发式秩量化算法，同时对深度大于等于 3 的情况进行了扩展，并证明了深度的优势在于对初始化幅度的弱依赖性，因此这种秩量化更可能在实践中起作用。
Dec, 2020
这篇论文描述了两层向量输出ReLU神经网络训练问题的凸半无限对偶问题，利用它可以找到全局最优解，而神经网络隐式地尝试通过半非负矩阵分解解决共正程序。
Dec, 2020
本研究通过凸优化理论分析发现，ReLU神经网络通过一种隐含的正则化机制实现高维特征选择，并证明了该等价凸问题可以通过标准凸优化求解器在多项式时间内全局优化。
Oct, 2021
通过使用凸优化理论和稀疏恢复模型来改进神经网络的训练过程，并对其最优权重提供更好的解释，我们的研究侧重于以分段线性激活函数构建的两层神经网络的训练，证明了这些网络可以表达为一个有限维的凸规划问题，其中包括促使稀疏性的正则化项，构成Lasso的变种。通过大量的数值实验，我们展示了凸模型可以胜过传统非凸方法，并且对于优化器的超参数并不敏感。
Dec, 2023
本研究解决了并行正齐次神经网络的泛化界限推导问题，提出了一种新的框架，通过将非凸经验风险最小化问题与相关的凸优化问题联系起来，提供了可实现的全局下界。该框架的应用使得在多种模型中实现了样本复杂度与网络宽度几乎线性缩放的泛化界限，具有重要的理论和实际意义。
Nov, 2024