本文证明了任何互信息测量方法都有严重的统计限制，证明了从N个样本估计的任何分布自由、高置信度的互信息的下限均不能超过O(ln N)。

Nov, 2018

本论文研究广义独立性、熵、互信息和总相关度等集合上的组合信息度量，这些度量通过子模函数进行参数化，严格推广了相应的熵度量。我们证明，对于大类满足一种非负性条件的子模函数，与另一个参数固定的情况下，子模互信息实际上是一种子模函数。我们将这种度量与分类，可靠分区和物品覆盖等问题联系起来。

Jun, 2020

本文构建了一个多样的分布族，展示了语言无关基准平台用于互信息估计器的实用性和局限性，并提出了适应问题困难度的适当估计器的选择指南及应用估计器时需要考虑的问题。

Jun, 2023

通过信息熵，我们提出了一种实用的方法来解压数据中的重要变化，以研究复杂系统。

Jul, 2023

本文提出了一种信息理论的广义CCA方法，称为最大切片互信息（mSMI），它通过低维投影识别高维变量之间的最大互信息，能捕捉数据中的复杂依赖关系并具有较快的计算和可扩展的估计能力，同时保留了Shannon互信息的优秀结构特性和独立性的识别，提出了高效计算的神经估计器，并给出了其非渐近误差界。实验结果表明，在独立性检测、多视图表示学习、算法公平性和生成建模等任务中，mSMI方法在几乎没有计算开销的情况下始终优于竞争方法。

Sep, 2023

本文研究相互信息、逐点相互信息轮廓、多元正态分布、蒙特卡洛方法，该研究还使用精细分布来研究现有相互信息估计器的局限性、变分估计器中使用的神经评论家的行为以及实验异常值对相互信息估计的影响，并展示了如何使用精细分布来获得基于模型的贝叶斯估计的相互信息，适用于具有领域专业知识且需要不确定性量化的问题。

Oct, 2023

分析科学数据和复杂的多元系统所需的信息数量，为了捕捉多个随机变量之间的关系，最近开发了新的信息理论度量方法，其中多变量系统中协同作用和冗余的概念对于理解高阶依赖关系至关重要。在这项工作中，我们介绍了一种名为SΩI的方法，它首次允许在不受限制的系统假设下计算O-information。通过在合成数据上验证我们的方法，并展示SΩI在实际案例中的有效性。

Feb, 2024

本文介绍了 Partial Information Decomposition of Features（PIDF），一种同时实现数据可解释性和特征选择的新范式。相较于传统方法，我们的方法基于每个特征的三个度量值：与目标变量的相互信息、特征对协同信息的贡献以及冗余信息的数量。我们根据这三个度量值开发了一种新的程序，不仅揭示了特征与目标的相关性，还考虑了特征与其他特征的组合所提供的额外和重叠信息。我们广泛评估了PIDF，使用了合成和真实数据，并通过遗传学和神经科学领域的案例研究展示了其潜在应用和有效性。

May, 2024

本文首次提出使用部分信息分解 (PID) 数学框架对数据集中的伪关联进行信息论的形式化定义，并通过计算独特信息来量化数据集的伪关联，研究了伪关联对模型的影响以及针对伪关联的数据处理技术的效果。

Jun, 2024

本研究解决了因果发现领域中基于监督学习方法可能导致的误导性结果问题，提出了一种无监督的二变量因果发现方法。通过使用稳健的互信息度量，考虑了不同变量类型的影响，提供了一组标准的无偏结果，以指导未来在完全未知环境下的因果发现任务。

Aug, 2024