MMApr, 2024

子模型多任务子集选择中的本地分布鲁棒性

PDF
TL;DR在本研究中，我们通过引入基于本地分布鲁棒性的参考分布邻域，提出了一种多任务子模块优化问题的方法。我们首先建议引入一个正则化项，利用相对熵与标准多任务目标之间的关系。然后通过对偶性证明这个新的公式本身等同于最大化一个子模块函数，这可以通过标准的贪婪选择方法高效实现。这种方法填补了多任务子集选择中性能 - 鲁棒性权衡优化的现有差距。为了数值验证我们的理论结果，我们在两种不同的情况下进行了测试，一种涉及对地球低轨道星座中的卫星进行选择以解决传感器选择问题，另一种涉及使用神经网络进行图像摘要任务。我们将我们的方法与两种其他算法进行了比较，这两种算法侧重于最坏情况下任务的性能优化和直接优化参考分布本身的性能。我们得出结论，我们的新公式提供了一种局部分布鲁棒且计算费用低廉的解决方案。
multi-task submodular optimizationlocal distributional robustnessregularization termsubmodular functionperformance-robustness trade-offs
发现论文，激发创造
  • 分布式基于配对次模函数的大于内存子集选择

    通过提出一种新颖的分布式界限算法，并使用多轮基于分区的分布式贪心算法，此论文解决了子集选择问题，能够在没有或极小损失质量的情况下，找到高质量的子集。

    Feb, 2024

  • 在线分布式数据选择的动态阈值法

    通过子模最大化算法，我们设计了一个通用的、灵活的核心选择例程，可在使用最少内存的情况下从数据流中提取最有价值的子集，并在 ImageNet 和 MNIST 的学习任务中表现出了优于随机选择的性能

    Jan, 2022

  • 分布鲁棒子模最大化

    通过直接优化偏差和方差的组合，该研究通过展示如何进行具有理论保证的高效算法，从而在次模函数中进行分布式鲁棒优化（DRO），从而实现在未知随机次模函数的情况下实现更好的性能和更好的推广。

    Feb, 2018

  • 基于数据驱动的分布鲁棒优化最优成本选择

    提供了一种自然的数据驱动方式，用于学习分布绝对稳健优化问题中定义的分布区间，证明该框架包括自适应正则化作为一个特殊案例，实证表明所提出的方法能够改进广泛应用的机器学习估计器。

    May, 2017

  • 随机化的威力：大规模数据集上的分布式子模最大化

    该论文提出了一个简单的分布式算法来解决在机器学习中的受限次模最大化问题，该算法可以并行运行并且提供可证明的常数近似保证，即使在单个机器上无法解决的问题也可以通过该算法高效地解决。

    Feb, 2015

  • 分布式子模最大化

    本文提出了一种适用于分布式计算的子模函数最大化方法 GreeDi，该方法可在 MapReduce 框架下实现，初步实验表明该方法可应用于大规模机器学习任务中的子模优化问题，如稀疏高斯过程推断和样例聚类等问题，且在一定的自然条件下，可以达到接近于传统集中式计算模式下的性能表现。

    Nov, 2014

  • 通过分布式稳健优化实现统一性能学习模型

    本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。

    Oct, 2018

  • 全局 - 局部正则化的分布鲁棒性

    本文提出一种基于 Wasserstein 的分布鲁棒性优化方法，旨在通过同时应用本地和全局正则化，将原始分布与最具挑战性的分布相结合，提高模型的建模能力，解决深度神经网络在实际应用中对抗性示例和分布偏移等问题。实验结果表明，该方法在半监督学习、领域适应、领域泛化和对抗机器学习等各领域中均明显优于现有的正则化方法。

    Mar, 2022

  • 分布式次模最大化的新框架

    通过将现有算法从顺序设定应用到分布式设定，仅利用恒定数量的 MapReduce 循环，在许多设置中实现了接近最优的近似比率。我们的技术还为满足矩阵约束的非单调最大化提供了快速的顺序算法。

    Jul, 2015

  • 韧性单调子模函数最大化

    本研究关注机器学习、优化和控制中的鲁棒优化问题，在面临多种故障或攻击时，提出了首个可扩展的曲率相关算法，用于近似求解单调子模目标函数，保证了优秀的逼近性能，并使用实验证明了该算法的有效性。

    Mar, 2017