本文提出了一种新的随机算法，通过将强凸函数的最小化转化为函数规则化的逼近最小化，从而优化了经验风险最小化过程中的性能，实践表明该算法具有稳定性和行之有效的优势

Jun, 2015

本文证明了大多数知名损失函数的经验风险因子可分为线性项，聚合所有标签和不涉及标签的项，并且可以进一步表示为损失的和。这适用于任何RKHS中的非光滑、非凸损失。通过估计平均操作符，本研究揭示了这种分解的变量的充分统计量，并将其应用于弱监督学习。最后，本文展示了大多数损失都享有一种依赖于数据的（通过平均算子）噪声鲁棒性。

Feb, 2016

本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。

Oct, 2018

本研究借鉴正则化理论，提出算法，利用二阶Wasserstein距离和Lipschitz性质，通过解决优化问题来得到光滑的Brenier凸函数，实现了快速而准确的图像传输。

May, 2019

探讨关于对抗性样本的问题，提出一种基于运输成本不确定性集合的正则化方法，实现了对Lipschitz正则化模型的稳健性证明，揭示了对抗学习和分布鲁棒性之间的联系，并提供了对核分类器的Lipschitz正则化方法。

Feb, 2020

本论文研究了机器学习中隐含的偏差及其对应的正则化解，并且根据理论证明我们使用的指数型损失函数的正则化效果，可达到最大保边缘的方向，相应的其他损失函数可能会导致收敛于边缘较差的方向。

Jun, 2020

本文提出了一种新的最优输运问题方法，具有明确的基数约束，既能保证传送方案的稀疏性，又能够限制匹配的最大数量，使其在稀疏专家混合等应用中能够更好地解决计算性能问题。

Sep, 2022

该论文提出了一种基于 group-sparse 正则化方法的快速离散最优传输算法，该算法可以在保证准确率的前提下提高计算速度，并在无监督域适应等领域有广阔的应用前景。

Mar, 2023

本研究表明，Wasserstein分布鲁棒估计器的推广保证其可适用于一般模型类，并且不会受到维度诅咒，甚至可以涵盖测试中的分布偏移，这些结果可以延伸到新引入的Wasserstein分布性机器学习问题的正则化版本。

May, 2023

我们提供了一种新的分析框架，用于分析统计学习中基于一阶优化算法的泛化误差，当只能通过一个 oracle 提供的部分观测来获取梯度。我们的分析依赖于梯度相对于数据样本的正则性，并且允许为多个学习问题，包括监督学习、迁移学习、鲁棒学习、分布式学习和使用梯度量化的通信高效学习推导出接近配对的上下界的泛化误差。这些结果适用于平滑和强凸优化问题，以及满足 Polyak-Lojasiewicz 假设的平滑非凸优化问题。我们的上下界依赖于一个新颖的量，它扩展了条件标准差的概念，并衡量了通过访问 oracle 获取梯度的程度。因此，我们的分析为优化统计学习目标的优化提供了精确的含义，即统计学习目标的优化与其梯度估计一样困难。最后，我们证明，在标准监督学习的情况下，批梯度下降法随着批次大小的增加和热启动可以达到近似最优的泛化误差，从而激励我们在实际应用中使用这种优化方案。

Jul, 2023