机器学习中应用的次模组合信息度量

Jun, 2020

Submodular Combinatorial Information Measures with Applications in Machine Learning

Rishabh Iyer, Ninad Khargoankar, Jeff Bilmes, Himanshu Asanani

TL;DR本论文研究广义独立性、熵、互信息和总相关度等集合上的组合信息度量，这些度量通过子模函数进行参数化，严格推广了相应的熵度量。我们证明，对于大类满足一种非负性条件的子模函数，与另一个参数固定的情况下，子模互信息实际上是一种子模函数。我们将这种度量与分类，可靠分区和物品覆盖等问题联系起来。

Abstract

Information-theoretic quantities like entropy and mutual information have found numerous uses in machine learning. It is well known that t

发现论文，激发创造

本文从凸分析的角度介绍了子模函数，论述了子模函数最小化与各类凸优化问题的关系，提出了新的高效算法以及多种子模函数在机器学习中的应用。

Nov, 2011

本研究扩展了Narasimhan和Bilmes的工作，提出了基于子模函数差别最小化的新算法，该算法能有效地解决多种组合约束的问题，并且能够用于许多机器学习问题中，它在性能上优于现有的算法。

Jul, 2012

本文通过基于凸凹过程的变分框架方法，提出了一种最小化两个次模函数之间差异的算法。该算法在机器学习中的应用包括生成式结构图模型和特征选择，结果表明使用此算法的判别式图模型分类器可以明显优于使用生成式图模型的分类器。

Jul, 2012

本文提出了一种新的，适用于离散-连续混合情况的相互信息估计器，并通过数值实验证明了该估计器的优越性。

Sep, 2017

该研究开发一种基于新方法量化唯一信息的分解方法，并使用该方法对适用范围广泛的依赖分解法进行定义和衡量，从而首次提出了满足PID框架核心公理且不满足Blackwell关系的度量方法，为实现PID提供了重要进展。

Sep, 2017

本文证明了任何互信息测量方法都有严重的统计限制，证明了从N个样本估计的任何分布自由、高置信度的互信息的下限均不能超过O(ln N)。

Nov, 2018

该论文提出了一个信息理论框架来研究机器学习算法的泛化性能，利用条件互信息量化算法输出和训练数据之间的关系，并提出基于VC维、压缩方案、差分隐私等方法来获得有界的条件互信息，从而得出泛化的各种形式。

Jan, 2020

本研究回顾了子模及超模的定义与基本特性，介绍了多种子模函数及其泛化，离散限制的例子，最大化、最小化的算法，以及连续子模扩展。然后，着重探讨了子模函数在机器学习和人工智能领域中的应用，包括总结、聚类、数据子集选择和特征选择等方面。

Jan, 2022

本文对具有成对独立随机输入的子模集函数的期望值进行了表征，并通过探讨最大期望值的比率，展示了子模函数在相对较弱的独立性概念中的行为方式的基本差异。同时，探讨了其在分布鲁棒优化中的应用和给出了一个猜想。

Sep, 2022

通过导出与相关性和目标数据的覆盖相关的数量的相似性为基础的上下界，我们首次提供了关于 Submodular Mutual Information（SMI）在子集的相关性和覆盖范围方面的理论保证，展示了 SMI 函数在实现良好的查询相关性和查询覆盖方面的理论上的可靠性。

Feb, 2024