分析科学数据和复杂的多元系统所需的信息数量，为了捕捉多个随机变量之间的关系，最近开发了新的信息理论度量方法，其中多变量系统中协同作用和冗余的概念对于理解高阶依赖关系至关重要。在这项工作中，我们介绍了一种名为 SΩI 的方法，它首次允许在不受限制的系统假设下计算 O-information。通过在合成数据上验证我们的方法，并展示 SΩI 在实际案例中的有效性。

Feb, 2024

本文提出了新的测量共享信息，独特信息和协同信息的方法，用于分解与第三个随机变量 X 一起的一对随机变量 $（Y，Z）$ 的多信息。我们的措施受到独特信息的操作思想的启发，建议共享信息和独特信息应该仅依赖于 $（X，Y）$ 和 $（X，Z）$ 的对偶边际分布。虽然此不变性属性以前尚未研究，但其他所提出的共享信息措施满足此不变性属性。这种不变性属性并不能唯一地确定我们的新措施，但它意味着我们定义的函数是符合相同不变性属性的任何其他措施的范围。我们研究了我们的措施的性质并将它们与其他候选措施进行了比较。

Nov, 2013

本文首次深入分析了高斯系统的 PID，并提出了适用于连续时间序列数据的协同信息和冗余信息独立公式，进一步揭示了高斯系统的协同和冗余信息量的特点及其量化方法，并讨论了这些发现在信息转移和信息复杂度测量中的应用。

Nov, 2014

本文介绍基于广义加权 Le Cam 差异概念的两个量，用于衡量一个通道相对于另一个通道的独特信息，其中一个量是基于通道是否可以在其输入或输出处进行随机化，还将所提出的量与现有的最小协同独特信息的量进行关联，并探讨独特信息在非负互信息分解中的作用。

Jul, 2018

通过迭代分歧最小化算法，优化求解基于信息通道限制条件下条件互信息的最小值，从而确定预测变量对响应变量的唯一、冗余和协同成分的信息分配情况。

Sep, 2017

提出了一种在大型网络中估计信息关系的实用方法，可以可靠地估计互信息和多个信息项，并通过基因表达、金融市场和消费者偏好等领域的分析加以说明。

Feb, 2005

本文提出一种新的多元信息量度方法，利用 Venn 图表明任意数量随机变量的信息内容，其基于信息共享的代数结构，考虑观察者共享信息的不同方式与不同阶数的信息关系，得到一种自由分配格的元素。通过联合信息和共享信息量的代数结构，得到了偏向分解所表示的冗余格。

Sep, 2019

本文介绍了信息论特征选择方法的现状，阐明了特征相关性、冗余性和补充性（协同作用）的概念，以及马尔科夫毯子。定义了最优特征选择的问题。我们描述了一个统一的理论框架，它可以使成功的启发式标准符合相应方法所做的近似。还介绍了该领域中的一些未解决问题。

Sep, 2015

本文通过对原始数据进行变量选择，提出一种基于互信息度量的方法，通过选择出与模型输出存在信息联系的重要变量，以达到同时降低模型复杂度、提高模型泛化能力、增强模型解释性的目的。

Sep, 2007

本文介绍了互信息这一信息论中的重要量，在分类学和社区检测分析中被广泛应用，但在实际应用中常常会由于丢失关键的部分而产生误差。针对这一问题，本文提出了一种修正的互信息量，并讨论了该量化指标的实际实现方法和实例应用。

Jul, 2019