Jun, 2020

风险方差惩罚

PDF
TL;DR本文通过研究基于方差的正则化器提供了对 V-REx 的理论洞察，提出了 Risk Variance Penalization (RVP) 的概念，改进了 V-REx 的正则化约束，解决了 V-REx 的理论问题，并为 RVP 提供了理论解释和理论驱动的参数调整方案。实验证明，RVP 在一定条件下可以发现不变的预测器。
out-of-distribution generalizationvariance risk extrapolationrisk variance penalizationrobust predictorinvariant predictor
发现论文，激发创造
  • 利用风险外推 (REx) 实现对于分布外数据的泛化

    采用风险外推法的鲁棒优化可以在训练域和测试域之间进行平衡，从而提高模型对于分布漂移的抵抗能力，并且可以恢复目标的因果机制，同时还能提供对于输入分布变化具有一定鲁棒性的能力。

    Mar, 2020

  • 基于方差的正则化与凸优化目标

    通过使用分布鲁棒优化和 Owen 的经验似然的技术，我们开发了一种风险最小化和随机优化的方法，提供了一个凸代理来实现方差的降低，实现了近乎最优和计算效率之间的权衡，我们给出了一些有限样本和渐近结果来表征估计器的理论性能。

    Oct, 2016

  • 可能性失误：变分自编码器的异常检测分数

    本研究提出了一种基于 Variational Auto-encoders 的有效的异常检测方法 Likelihood Regret，并在现有的检测方法基础上进行了实验，结果表明我们的方法在 VAEs 上具有最佳的异常检测性能。

    Mar, 2020

  • 优化的岭回归正则化用于外推预测

    研究了最优岭回归正则化和最优岭风险在离群分布预测中的行为，建立了决定协变量和回归变化下最优正则化水平符号的一般条件，并证明了在数据纵横比方面，即使在负正则化水平优化的情况下， 优化风险在离群分布设置中是单调递增的。

    Apr, 2024

  • 无过多实证风险的领域泛化

    通过最小化约束条件下的惩罚，而不是与经验风险同时最小化，我们提出了一种解决域泛化领域中过度风险的方法，并通过将我们的方法应用于文献中的三种方法来证明其有效性。

    Aug, 2023

  • 具有偏差和方差减少的分布鲁棒优化

    使用分布稳健优化（DRO）问题中的谱风险不确定性集和 $f$- 散度惩罚，我们构建了一个包括常见风险敏感学习目标的模型。我们提出了 Prospect 算法，只需要调整一个学习率超参数，证明其对于平滑正则化损失具有线性收敛性。与先前的算法相比，前者要求调整多个超参数或由于有偏梯度估计或不充分的正则化而可能无法收敛。在实证上，我们展示了在跨表格、视觉和语言领域的分布偏移和公平性基准上，Prospect 算法的收敛速度可以比随机梯度和随机鞍点方法快 2-3 倍。

    Oct, 2023

  • 利用变量参数探索超出分布的全局化，以从失败的彩票中获得奖励

    通过完全探索变异和不变参数，我们的 EVIL 可以有效识别一个稳健的子网络，以提高对分布外泛化的能力。在集成测试台 DomainBed 上进行的大量实验证明，EVIL 可以高效地增强 ERM、IRM、SAM 等许多流行方法。

    Oct, 2023

  • 方差 - 协方差正则化提高表示学习

    本文介绍了一种名为 VCR 的正则化技术，旨在提高传输学习效果，该技术以促进具有高方差和最小协方差的学习表示为目标，从而防止网络仅关注减少损失函数的特征。作者通过各种实验验证了该方法的可行性，并开发了实现策略，表明 VCR 是一种强大且高效的方法，可用于增强监督学习和自监督学习的传输学习性能，为该领域的未来研究开辟了新的可能性。

    Jun, 2023

  • 面向未知分布的对抗鲁棒性

    该研究探讨了在深度学习领域，对抗性鲁棒性的问题及其解决方法，提出了领域泛化和风险外推方法来应对不同攻击方式，对测试攻击的准确率得到了大幅提升。

    Oct, 2022

  • 从固定 X 到随机 X 回归：偏差 - 方差分解、协方差惩罚和预测误差估计

    该研究对模型选择和模型评估中的协方差惩罚进行了研究，提出了一种基于 “Random-X” 假设的预测误差分解方法，进一步扩展了 Mallows 的 Cp, 称之为 RCp; 并对其他流行的估计器进行了随机 - X 误差的研究，其中，对岭回归的研究表明在强正则化区间，随机 - X 方差比固定 - X 方差小，它可能导致较小的随机 - X 误差。

    Apr, 2017