机器学习中应用的次模组合信息度量

Jun, 2020

Submodular Combinatorial Information Measures with Applications in Machine Learning

Rishabh Iyer, Ninad Khargonkar, Jeff Bilmes, Himanshu Asnani

TL;DR本论文研究广义独立性、熵、互信息和总相关度等集合上的组合信息度量，这些度量通过子模函数进行参数化，严格推广了相应的熵度量。我们证明，对于大类满足一种非负性条件的子模函数，与另一个参数固定的情况下，子模互信息实际上是一种子模函数。我们将这种度量与分类，可靠分区和物品覆盖等问题联系起来。

Abstract

Information-theoretic quantities like entropy and mutual information have found numerous uses in machine learning. It is well known that t

发现论文，激发创造

通过导出与相关性和目标数据的覆盖相关的数量的相似性为基础的上下界，我们首次提供了关于 Submodular Mutual Information（SMI）在子集的相关性和覆盖范围方面的理论保证，展示了 SMI 函数在实现良好的查询相关性和查询覆盖方面的理论上的可靠性。

Feb, 2024

本研究回顾了子模及超模的定义与基本特性，介绍了多种子模函数及其泛化，离散限制的例子，最大化、最小化的算法，以及连续子模扩展。然后，着重探讨了子模函数在机器学习和人工智能领域中的应用，包括总结、聚类、数据子集选择和特征选择等方面。

Jan, 2022

本文研究有限边缘集上香农信息量度的一些一般特性以及与最优化问题的关系，引入最小熵耦合的概念及其在信息理论、计算和统计学上的相关性，并研究由这些耦合所定义的偏度量族，特别是它们与总变差距离的关系，并给出对条件熵的新的表征。

Mar, 2013

本文提出一种新的多元信息量度方法，利用 Venn 图表明任意数量随机变量的信息内容，其基于信息共享的代数结构，考虑观察者共享信息的不同方式与不同阶数的信息关系，得到一种自由分配格的元素。通过联合信息和共享信息量的代数结构，得到了偏向分解所表示的冗余格。

Sep, 2019

本文通过基于凸凹过程的变分框架方法，提出了一种最小化两个次模函数之间差异的算法。该算法在机器学习中的应用包括生成式结构图模型和特征选择，结果表明使用此算法的判别式图模型分类器可以明显优于使用生成式图模型的分类器。

Jul, 2012

本文对具有成对独立随机输入的子模集函数的期望值进行了表征，并通过探讨最大期望值的比率，展示了子模函数在相对较弱的独立性概念中的行为方式的基本差异。同时，探讨了其在分布鲁棒优化中的应用和给出了一个猜想。

Sep, 2022

本文介绍了子模函数的连续松弛及其在优化问题中的应用，同时提出了一种基于对称子模函数的基数约束下，最小化函数的常系数逼近算法。

Dec, 2009

通过信息熵，我们提出了一种实用的方法来解压数据中的重要变化，以研究复杂系统。

Jul, 2023

本文提供了一种新的通过合并变分推理和深度学习技术以扩展优化相互信息的方法，该方法可用于从像素到动作的可伸缩信息最大化和基于赋权的推理。

Sep, 2015

本文研究离散领域的函数特性 submodularity 及其在信号处理和机器学习中的应用。介绍了一些 submodular-friendly 的应用场景和优化算法，同时探索了 submodularity 与 convexity 和 concavity 之间的关系，讨论了建立最优性保证的方法。

Jun, 2020