分布式基于配对次模函数的大于内存子集选择
本文提出了一种适用于分布式计算的子模函数最大化方法 GreeDi,该方法可在 MapReduce 框架下实现,初步实验表明该方法可应用于大规模机器学习任务中的子模优化问题,如稀疏高斯过程推断和样例聚类等问题,且在一定的自然条件下,可以达到接近于传统集中式计算模式下的性能表现。
Nov, 2014
通过将现有算法从顺序设定应用到分布式设定,仅利用恒定数量的 MapReduce 循环,在许多设置中实现了接近最优的近似比率。我们的技术还为满足矩阵约束的非单调最大化提供了快速的顺序算法。
Jul, 2015
该论文提出了一个简单的分布式算法来解决在机器学习中的受限次模最大化问题,该算法可以并行运行并且提供可证明的常数近似保证,即使在单个机器上无法解决的问题也可以通过该算法高效地解决。
Feb, 2015
本文介绍了通过使用广义子模函数代替较简单的目标函数获得的几个传统计算机科学问题的推广,包括子模型负载平衡,子模型最稀疏切割和子模型平衡切割等,并建立了这些问题的近似界限。
May, 2008
通过子模最大化算法,我们设计了一个通用的、灵活的核心选择例程,可在使用最少内存的情况下从数据流中提取最有价值的子集,并在 ImageNet 和 MNIST 的学习任务中表现出了优于随机选择的性能
Jan, 2022
在本研究中,我们通过引入基于本地分布鲁棒性的参考分布邻域,提出了一种多任务子模块优化问题的方法。我们首先建议引入一个正则化项,利用相对熵与标准多任务目标之间的关系。然后通过对偶性证明这个新的公式本身等同于最大化一个子模块函数,这可以通过标准的贪婪选择方法高效实现。这种方法填补了多任务子集选择中性能 - 鲁棒性权衡优化的现有差距。为了数值验证我们的理论结果,我们在两种不同的情况下进行了测试,一种涉及对地球低轨道星座中的卫星进行选择以解决传感器选择问题,另一种涉及使用神经网络进行图像摘要任务。我们将我们的方法与两种其他算法进行了比较,这两种算法侧重于最坏情况下任务的性能优化和直接优化参考分布本身的性能。我们得出结论,我们的新公式提供了一种局部分布鲁棒且计算费用低廉的解决方案。
Apr, 2024
该篇论文提出了一种针对固定容量的分布式子模型最大化的框架,应用于广泛的算法和约束条件,并且为任何可用容量提供近似因子的理论保证,并在多个数据集上进行了实证评估,表现竞争性与中心化贪婪算法相当。
May, 2016
本文提出一种针对子模函数的数据学习算法,可用于数据概括、特征选择和主动学习等机器学习领域。通过将贪婪最大化算法的输出解释为项目序列的分布,本文提出一种可微的方式对模型进行优化。实证研究表明,该方法对解决实际场景中的推荐和图像概括等问题有较好的效果。
Mar, 2018
本文从鲁棒优化的角度重新审视了连续版本的预算分配或二分图影响最大化问题,并利用与连续次模函数的联系以及求解受约束子模最小化问题的方法精确地解决了这个非凸问题。
Feb, 2017