Feb, 2022

通过分布式鲁棒优化学习解决路径规划问题

PDF
TL;DR本文研究了应用于解决路由问题的深度模型在训练时通常只考虑单个数据分布，导致它们的交叉分布泛化能力受到严重削弱，因此提出采用分组分布式鲁棒优化来解决该问题，并设计了基于卷积神经网络的模块，以便让深度模型学习更多节点之间的相关信息。实验结果表明，该方法能显著提高原始模型的交叉分布泛化性能。
发现论文，激发创造
  • 基于组合优化的大规模分布式鲁棒模型学习

    本文提出通过有限和复合优化来提供可扩展的机器学习算法，用于训练鲁棒性强的模型，并展示本算法在超大数据集上学习鲁棒模型的有效性。

    Mar, 2022

  • 专注于共同利益：团体分布稳健性的追求

    本论文探讨的是使用组注释的数据进行分类模型训练的问题，提出了一个新的算法，旨在通过鼓励学习跨各种组共享的特征来提高少数族裔的性能。通过在标准基准测试中进行实证研究，证明了本文提出的算法在不同组别和少数族裔上的表现要好于 ERM 和 Group-DRO 等强基线。同时，论文也从理论上证明了所提出算法是一种下降方法，并且可以找到平稳点。

    Oct, 2021

  • 全局 - 局部正则化的分布鲁棒性

    本文提出一种基于 Wasserstein 的分布鲁棒性优化方法，旨在通过同时应用本地和全局正则化，将原始分布与最具挑战性的分布相结合，提高模型的建模能力，解决深度神经网络在实际应用中对抗性示例和分布偏移等问题。实验结果表明，该方法在半监督学习、领域适应、领域泛化和对抗机器学习等各领域中均明显优于现有的正则化方法。

    Mar, 2022

  • 面向群体转移的分布式鲁棒神经网络：正则化对最坏情况泛化的重要性

    本研究发现，对过度参数化的神经网络直接应用分组分布式稳健优化（DRO）不起作用；相反，需要使用强化正则化或提前停止来提高最坏组的准确性，这表明对于过度参数化的情况下的 “最坏组” 泛化，正则化是必不可少的。

    Nov, 2019

  • 具有概率群的分布鲁棒优化

    本文提出了一种新的概率组成员身份的框架 PG-DRO，以解决现代机器学习模型易受特定样本组内平均相关性的干扰的问题，通过考虑软组成员身份而不是硬组注释，该框架可以灵活生成组概率，从而更好地适应样本组成员身份模糊的情况，并在图像分类和自然语言处理基准测试中得到了优越性能。

    Mar, 2023

  • 拓扑感知的鲁棒优化用于超出分布的泛化

    该研究通过拓扑感知的鲁棒优化框架，结合分布的拓扑结构，提出了一种解决机器学习中非分布外泛化问题的方法，理论上证明了其有效性，并在分类、回归和语义分割等多种任务中实证表明，在泛化风险上显著优于现有方法。此外，研究还发现数据驱动的分布拓扑与领域知识一致，增强了方法的可解释性。

    Jul, 2023

  • 通过分布式稳健优化实现统一性能学习模型

    本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。

    Oct, 2018

  • 分布鲁棒优化中第二玩家建模

    本文提出了一种基于神经生成模型的分布鲁棒优化 (DRO) 方法，通过对不确定集合中的分布进行建模，使得模型在不确定的分布中表现优异，并提出一种 KL 约束内部最大化目标的松弛优化方式，通过大规模生成模型的梯度优化来解决相应的实现和优化挑战，并且开发模型选择启发式方法来指导超参数搜索。实验结果表明提出的方法比当前基线模型更具鲁棒性。

    Mar, 2021

  • 通过凹面最大化寻找最优鲁棒数据混合

    使用 MixMax 方法来解决非线性模型中的组分布鲁棒优化问题，通过最大化一个特定的凹目标函数与熵镜面上升相结合来选择混合权重，证明在包括有界预测器集合上最佳拟合混合分布的结果是一个组分布鲁棒优化模型。

    Jun, 2024

  • 研究分组分布鲁棒优化在深度不平衡学习中的应用：以二元表格数据分类为例

    该研究探讨了使用一种替代学习目标，组分布式鲁棒优化（gDRO），来处理深度神经网络中的类别不平衡问题，对比了实验结果并发现在不平衡表格数据中表现优异。

    Mar, 2023