本文介绍了隐私保护数据集下Empirical Risk Minimization（ERM）的改进算法——不同ially private ERM Algorithm。该算法通过利用限制条件的几何特性，在Lipschitz、强凸和光滑函数等情况下，提供了更严格的误差上界，并针对稀疏线性回归（LASSO）提出了新的下界。

Nov, 2014

该研究论文旨在通过建立均匀偏差结果，探讨如何通过Monte-Carlo方法得到不完整的$U$-统计量，从而实现在数据函数最小化过程中降低计算复杂度，在适当的复杂性假设下，显示出不影响经验风险最小化程序的学习率，并证明了该方法优于其他采样技术。

Jan, 2015

本文提出了一种新的随机算法，通过将强凸函数的最小化转化为函数规则化的逼近最小化，从而优化了经验风险最小化过程中的性能，实践表明该算法具有稳定性和行之有效的优势

Jun, 2015

本文研究机器学习中的经验风险最小化方法在核支持向量机、核岭回归和神经网络训练等问题上的计算复杂性，并基于复杂理论假设如强指数时间假设，证明了这些问题的条件难度结果。同时，对于许多非凸学习任务中的主要计算负担——经验损失的梯度计算，也给出了类似的难度结果。

Apr, 2017

论文提出了一种新的随机优化方法，它有针对性地偏向于高损失值的观测结果，并证明该算法对于凸损失具有亚线性收敛率，对于弱凸损失（非凸）具有关键点，同时在 SVM、逻辑回归和深度学习等模型中获得了更好的测试误差。

Jul, 2019

本文首次表征凸形 ERM 在高维广义线性模型推断中的基本统计精度界限，推导出任意损失函数和正则化参数值的紧凑下界，并精确评价了损失函数和正则化参数值的优化调整。

Jun, 2020

本论文研究了机器学习中隐含的偏差及其对应的正则化解，并且根据理论证明我们使用的指数型损失函数的正则化效果，可达到最大保边缘的方向，相应的其他损失函数可能会导致收敛于边缘较差的方向。

Jun, 2020

本文提出了一种名为tilted empirical risk minimization (TERM)的新框架，通过引入一个称之为tilt的超参数，它能够灵活调整每个个体损失的影响，以实现对离群点的鲁棒性或公平性，同时具有减少方差，促进泛化和处理类别不平衡的能力。我们通过发展批和随机一阶优化方法来解决TERM问题，并证明它相对于常见的替代方案，能够高效地解决这个问题。除了在现有解决方案这些问题，提出方案竞争力之外，我们还将TERM用于多种应用，如在亚组之间实施公平性，减轻离群值的影响以及处理类别失衡问题。

Jul, 2020

本文介绍了一种名为广义重加权算法（GRW）的类别，它通过迭代地重新加权训练样本来更新模型参数。我们发现在采用GRW算法的过拟合模型下，所得到的模型与采用Empirical risk minimization得到的模型非常相似。此外，在GRW算法不使用小规则化方法的情况下，得到的结果也是不尽如人意的，我们需要更多的探索与研究。

Jan, 2022

本研究探讨了倾斜经验风险的泛化误差，填补了现有文献在非线性风险度量方面的空白。通过提供均匀和信息论界限，我们揭示了倾斜泛化误差与样本数量之间的收敛关系，并且为KL正则化的期望倾斜经验风险最小化问题提供了上界。此工作有助于提升机器学习模型的预测能力和理解其在实际应用中的表现。

Sep, 2024