Aug, 2023

通过虚拟风险最小化轻松实现模型泛化

PDF
TL;DR本文介绍了 Dummy Risk Minimization（DuRM）技术，一种简单易用的方法来提高 Empirical risk minimization（ERM）的广义性能，该方法通过扩大输出 logits 的维度并使用标准梯度下降进行优化，从理论和经验分析两个方面验证了 DuRM 的有效性，结论表明 DuRM 可以在各种任务中持续改善性能。
发现论文，激发创造
  • 正则化经验风险最小化的分布式块对角逼近方法

    本文提出了一种通过求解对偶问题的分布式经验风险最小化训练框架，可以用于各种机器学习问题，具有全局线性收敛和更快的实证性能。

    Sep, 2017

  • 深度人工神经网络中经验风险最小化对一般化误差的分析：在数值求解 Black-Scholes 偏微分方程中克服维数灾难

    探讨深度神经网络假设类上基于经验风险最小化 (ERM) 的新分类和回归算法在高维偏微分方程数值解中克服维数灾难的条件，并说明在多项式时间内只需合适数量的样本即可获得解。

    Sep, 2018

  • 重新审视差分隐私的经验风险最小化问题：更快且更广泛

    本文研究不同设置下差分隐私经验风险最小化问题，提出了比以前更少的梯度复杂度的算法，并从凸损失函数推广到满足 Polyak-Lojasiewicz 条件的非凸函数，给出比传统算法更紧的上界。

    Feb, 2018

  • 针对领域特定风险的最小化以实现超出分布的泛化

    本文提出了基于领域特定风险最小化（DRM）的方法，旨在通过利用源域信息和适应性差的估计和最小化来弥合领域间差异以实现领域通用性，并在不同分布漂移设置下显着优于竞争基准。

    Aug, 2022

  • 高维岭回归经验风险最小化的基本限制

    本文首次表征凸形 ERM 在高维广义线性模型推断中的基本统计精度界限，推导出任意损失函数和正则化参数值的紧凑下界，并精确评价了损失函数和正则化参数值的优化调整。

    Jun, 2020

  • 无任何群组信息的群组鲁棒分类

    这项研究提出了一个修订的方法来在完全无偏见的情况下进行训练和验证无偏见模型，通过采用预训练的自监督模型可靠地提取偏见信息，并与我们的验证准则结合使用逻辑调整训练损失函数。我们的实证分析证明了我们的方法克服了所发现的挑战，始终提高了鲁棒准确性，达到与或优于依赖偏见标签进行验证的最先进方法的性能。

    Oct, 2023

  • 倾斜的经验风险最小化

    本文提出了一种名为 tilted empirical risk minimization (TERM) 的新框架，通过引入一个称之为 tilt 的超参数，它能够灵活调整每个个体损失的影响，以实现对离群点的鲁棒性或公平性，同时具有减少方差，促进泛化和处理类别不平衡的能力。我们通过发展批和随机一阶优化方法来解决 TERM 问题，并证明它相对于常见的替代方案，能够高效地解决这个问题。除了在现有解决方案这些问题，提出方案竞争力之外，我们还将 TERM 用于多种应用，如在亚组之间实施公平性，减轻离群值的影响以及处理类别失衡问题。

    Jul, 2020

  • ERM++: 领域泛化的改进基线

    通过改进经验风险最小化模型训练方法，提出了一种新的 Multi-source Domain Generalization 方法 ERM++，它可以在不增加计算复杂度的情况下，在多个数据集上取得领先于现有方法超过 5% 的性能表现，成为未来 Domain Generalization 研究的强大基准。

    Apr, 2023

  • 论经验风险最小化的方差、可接受性和稳定性

    本文研究了 Empirical Risk Minimization 在最小化最大化次优误差率下的偏差和方差分解问题，证明了在偏差方面，ERB 存在明显缺陷。同时，文中探讨了 ERM 的可接受性定理，并扩展到固定设计和随机设计的各种模型中。最后，提出了 ERM 的稳定性，以及一定条件下 ERM 的近似极小化不足的情况。

    May, 2023

  • 元学习不变风险最小化

    本研究提出了一种基于元学习的方法来解决数据集分布变化和环境数据中假相关性的问题，并通过实验展示该方法在 Out-of-Distribution（OOD）泛化性能、稳定性和解决 IRMv1 的局限性方面具有显著改进。

    Mar, 2021