May, 2024

带有错误分类惩罚的假设检验的子模块信息选择

PDF
TL;DR选择最佳的信息源子集，以便在有限假设集合上，基于有限样本观察结果，从事实世界的真实状态中识别出正确的假设。使用误分类惩罚框架来描述学习性能，并研究了两种情况下的子集选择问题：（一）选择最小成本的信息集合以保证在将真实假设错误分类的最大惩罚保持有界的情况下；（二）在有限的预算下选择最佳信息集合以最小化将真实假设错误分类的最大惩罚。通过渐进性的贪心算法建立了近似优化性能保证。
subset selectionhypothesis testingmisclassification penaltybayesian learninggreedy algorithms
发现论文，激发创造
  • 在线玄学最大化下的基合约束与学习分配应用

    本文提出了一种能够动态地为信息源进行排序，同时又能保证重复信息的减少不会影响子模函数的最优化问题算法，并在真实的 Web 数据集中分别实验了广告分配和动态排名两个在线优化问题。

    Jul, 2014

  • 二次模型的子模选择观测和信息收集

    研究在机器学习和信号处理中选择最具信息量的子集以实现对未知参数精确估计的问题。我们使用 Van Trees 不等式的联系来推导新的字母最优性标准，并开发了一个针对二次模型独特定制的高效贪心观测选择算法，并提供了其可实现效率的理论界限。

    May, 2019

  • 用于目标数据子集选择的次模互信息

    本篇研究利用 Submodular Mutual Information 函数通过有目的性地选择数据子集的方式解决了深度学习模型训练中的数据问题，并且在 CIFAR-10 和 MNIST 数据集上的图像分类任务中证明了其有效性，并和其他相关方法如主动学习进行了对比，结果显示 SMI 函数相比其他方法提升了 20-30% 的分类性能。

    Apr, 2021

  • 多信息源优化

    针对黑盒函数优化问题，本文提出了一种新算法，通过价值信息分析决策，处理了由模型差异和噪音观测所带来的不确定性，并在实验中验证了其相对其他先进技术具有更高的目标价值和更少的探索成本。

    Mar, 2016

  • 分布式基于配对次模函数的大于内存子集选择

    通过提出一种新颖的分布式界限算法，并使用多轮基于分区的分布式贪心算法，此论文解决了子集选择问题，能够在没有或极小损失质量的情况下，找到高质量的子集。

    Feb, 2024

  • 机器学习中应用的次模组合信息度量

    本论文研究广义独立性、熵、互信息和总相关度等集合上的组合信息度量，这些度量通过子模函数进行参数化，严格推广了相应的熵度量。我们证明，对于大类满足一种非负性条件的子模函数，与另一个参数固定的情况下，子模互信息实际上是一种子模函数。我们将这种度量与分类，可靠分区和物品覆盖等问题联系起来。

    Jun, 2020

  • 一个子模 - 超模程序及其在区分性结构学习中的应用

    本文通过基于凸凹过程的变分框架方法，提出了一种最小化两个次模函数之间差异的算法。该算法在机器学习中的应用包括生成式结构图模型和特征选择，结果表明使用此算法的判别式图模型分类器可以明显优于使用生成式图模型的分类器。

    Jul, 2012

  • 连续次模函数实现强大的预算分配

    本文从鲁棒优化的角度重新审视了连续版本的预算分配或二分图影响最大化问题，并利用与连续次模函数的联系以及求解受约束子模最小化问题的方法精确地解决了这个非凸问题。

    Feb, 2017

  • 子模型多任务子集选择中的本地分布鲁棒性

    在本研究中，我们通过引入基于本地分布鲁棒性的参考分布邻域，提出了一种多任务子模块优化问题的方法。我们首先建议引入一个正则化项，利用相对熵与标准多任务目标之间的关系。然后通过对偶性证明这个新的公式本身等同于最大化一个子模块函数，这可以通过标准的贪婪选择方法高效实现。这种方法填补了多任务子集选择中性能 - 鲁棒性权衡优化的现有差距。为了数值验证我们的理论结果，我们在两种不同的情况下进行了测试，一种涉及对地球低轨道星座中的卫星进行选择以解决传感器选择问题，另一种涉及使用神经网络进行图像摘要任务。我们将我们的方法与两种其他算法进行了比较，这两种算法侧重于最坏情况下任务的性能优化和直接优化参考分布本身的性能。我们得出结论，我们的新公式提供了一种局部分布鲁棒且计算费用低廉的解决方案。

    Apr, 2024

  • 针对数据子集选择的次模信息度量的理论分析

    通过导出与相关性和目标数据的覆盖相关的数量的相似性为基础的上下界，我们首次提供了关于 Submodular Mutual Information（SMI）在子集的相关性和覆盖范围方面的理论保证，展示了 SMI 函数在实现良好的查询相关性和查询覆盖方面的理论上的可靠性。

    Feb, 2024