本篇研究利用 Submodular Mutual Information 函数通过有目的性地选择数据子集的方式解决了深度学习模型训练中的数据问题，并且在 CIFAR-10 和 MNIST 数据集上的图像分类任务中证明了其有效性，并和其他相关方法如主动学习进行了对比，结果显示 SMI 函数相比其他方法提升了 20-30% 的分类性能。

Apr, 2021

本论文研究广义独立性、熵、互信息和总相关度等集合上的组合信息度量，这些度量通过子模函数进行参数化，严格推广了相应的熵度量。我们证明，对于大类满足一种非负性条件的子模函数，与另一个参数固定的情况下，子模互信息实际上是一种子模函数。我们将这种度量与分类，可靠分区和物品覆盖等问题联系起来。

Jun, 2020

本文提出了一种名为 Sliced MI（SMI）的关联系数测量方法，它是高维互信息的一种替代，通过对一维随机投影之间的互信息项求平均来定义，并且可以应用于特征提取。实验结果表明，与传统的互信息相比，SMI 在高维推断中具有潜在的优势。

Oct, 2021

本文提出了一种信息理论的广义 CCA 方法，称为最大切片互信息（mSMI），它通过低维投影识别高维变量之间的最大互信息，能捕捉数据中的复杂依赖关系并具有较快的计算和可扩展的估计能力，同时保留了 Shannon 互信息的优秀结构特性和独立性的识别，提出了高效计算的神经估计器，并给出了其非渐近误差界。实验结果表明，在独立性检测、多视图表示学习、算法公平性和生成建模等任务中，mSMI 方法在几乎没有计算开销的情况下始终优于竞争方法。

Sep, 2023

本研究提出了一种半监督的 平方误差互信息 (SMI) 估计方法，使用少量的配对样本和可用的未配对样本，通过密度比函数表示 SMI，并通过二次规划来表示目标函数。提出了一种高效的最小二乘互信息估计算法，并在图像匹配和相册摘要等机器学习问题上验证了其有效性。

Sep, 2019

通过新的函数和其参数化方法，PRISM 提供了多种建模能力，可以在所选择的子集的多样性、代表性和与数据点集的相似性 / 不相似性之间实现权衡，本文对两个实际问题进行了演示，结果显示 PRISM 在有针对性的学习和图像概述方面的性能优于最先进技术。

Feb, 2021

提出了 SIMILAR (Submodular Information Measures based actIve LeARning)—— 利用最近提出的子模信息度量 (SIM) 作为获取函数的统一主动学习框架，既能在标准主动学习中工作，也可以轻松扩展到考虑上述实际情况，并作为可伸缩到大型实际数据集的主动学习一站式解决方案。

Jul, 2021

本文概述了深度学习的新趋势，即利用相似性函数和信息估计函数作为学习和目标函数的相互信息神经估计和信息噪声对比估计，介绍了作者提出的语义信息 G 理论及应用在多标签学习、最大互信息分类和混合模型等方面，探讨了从 G 函数或 G 理论的角度理解语义互信息与 Shanon 互信息、混合模型、Gibbs 分布和分区函数等的关系，并提出了利用高斯信道混合模型来预训练深度神经网络潜在层的潜在机会和使用语义互信息作为增强学习的奖励函数。

May, 2023

选择最佳的信息源子集，以便在有限假设集合上，基于有限样本观察结果，从事实世界的真实状态中识别出正确的假设。使用误分类惩罚框架来描述学习性能，并研究了两种情况下的子集选择问题：（一）选择最小成本的信息集合以保证在将真实假设错误分类的最大惩罚保持有界的情况下；（二）在有限的预算下选择最佳信息集合以最小化将真实假设错误分类的最大惩罚。通过渐进性的贪心算法建立了近似优化性能保证。

May, 2024

研究在机器学习和信号处理中选择最具信息量的子集以实现对未知参数精确估计的问题。我们使用 Van Trees 不等式的联系来推导新的字母最优性标准，并开发了一个针对二次模型独特定制的高效贪心观测选择算法，并提供了其可实现效率的理论界限。

May, 2019