Nov, 2023

几何校准的 DRO: 通过自由能量 implication 对抗过于悲观

PDF
TL;DR通过灵活利用数据的几何形态与最小风险优化算法相结合，本研究提出了一种新型的校准方法 —— 几何校准分布鲁棒优化 (Geometry-Calibrated DRO，GCDRO)，该方法减轻了噪声样本的影响，理论分析和广泛实验证明了其相较于常规分布鲁棒优化方法的优越性。
machine learningdistributional shiftsdistributionally robust optimization (dro)noisegeometry-calibrated dro (gcdro)
发现论文，激发创造
  • DORO：分布式和异常值鲁棒优化

    提出了一种名为 DORO 的分布与离群点鲁棒优化框架，其中核心在于改进的风险函数，可以解决分布变化和离群点的问题，从而提高了机器学习的性能和稳定性。该方法有助于提升现代大型数据集的实验结果。

    Jun, 2021

  • 分布鲁棒优化中第二玩家建模

    本文提出了一种基于神经生成模型的分布鲁棒优化 (DRO) 方法，通过对不确定集合中的分布进行建模，使得模型在不确定的分布中表现优异，并提出一种 KL 约束内部最大化目标的松弛优化方式，通过大规模生成模型的梯度优化来解决相应的实现和优化挑战，并且开发模型选择启发式方法来指导超参数搜索。实验结果表明提出的方法比当前基线模型更具鲁棒性。

    Mar, 2021

  • 核方法中的分布鲁棒优化和泛化

    本文研究了使用最大均值差（MMD）来测量不确定性集合的 DRO，证明了 MMD DRO 与希尔伯特范数的正则化基本等价，并揭示了与统计学习中的经典结果的深刻联系，并且通过 DRO 证明了高斯核岭回归的广义上界，从而得出一种新的正则化方法。

    May, 2019

  • 异常值鲁棒的 Wasserstein DRO

    给定一个研究论文，提取 5 个关键词，准确地代表其主要主题和研究领域。然后，用一句简明扼要的中文句子概括该论文。

    Nov, 2023

  • 分布式稳健的反事实风险最小化

    本文介绍了使用分布式鲁棒优化 (DRO) 解决交叉事实风险最小化 (CRM) 问题的想法，并证明了 DRO 是对策反决策的一种有原则的工具。我们提出了使用 Kullback-Leibler 马氏距离作为 CRM 中不确定性的代替方法，并基于这一方法提出了一种新的鲁棒对策反目标。通过实验证明，在实践中使用其他不确定性度量具有重要意义。

    Jun, 2019

  • 非凸分布鲁棒优化：非渐近分析

    本研究探讨分布式鲁棒优化，提出了一种适用于一般光滑非凸损失的 DRO 算法，并将其与条件风险价值（CVaR）设置相结合，得到类似的收敛保证，经实验证明所提出算法的性能表现突出。

    Oct, 2021

  • 具原则的学习方法：带有局部扰动的 Wasserstein 分布鲁棒优化

    本文提出了一种基于新近估算定理的 WDRO（Wasserstein 分布鲁棒优化）最小化器，通过实现该最小化器及提供相应的风险一致性结果，发现该方法成功应用于本地扰动数据的 WDRO 推断，同时对噪声数据如图像分类数据集表现出鲁棒性优异的效果。

    Jun, 2020

  • 平滑 f - 散度分布鲁棒性优化：指数速率效率和无复杂度校准

    数据驱动的优化中，基于最糟情况分析的分布式鲁棒优化可以实现对准确解性能的统计界限，该方法基于通过适当的距离优化的 KL - 发散度，并且相应的校准不需要任何复杂性信息。

    Jun, 2023

  • 大规模非凸随机约束分布鲁棒优化

    该论文主要研究了分布鲁棒优化（Distributionally Robust Optimization，DRO）中的约束问题，针对非凸损失函数提出了一种随机算法并进行了性能分析，证明了该算法能够找到一个满足 ε- 稳定点，而且计算复杂度为 O (ε^(-3k_*-5))，此外，数值结果表明该方法优于现有方法。

    Apr, 2024

  • 全局 - 局部正则化的分布鲁棒性

    本文提出一种基于 Wasserstein 的分布鲁棒性优化方法，旨在通过同时应用本地和全局正则化，将原始分布与最具挑战性的分布相结合，提高模型的建模能力，解决深度神经网络在实际应用中对抗性示例和分布偏移等问题。实验结果表明，该方法在半监督学习、领域适应、领域泛化和对抗机器学习等各领域中均明显优于现有的正则化方法。

    Mar, 2022