提出了一个创新且数学严谨的定义，用于从多视角数据中计算共有信息。利用这个定义，开发了一种新颖的监督式多视角学习框架，以捕捉共有信息和独特信息。通过明确最小化总相关性项，可以让从每个视角提取的共有信息和独特信息彼此独立，从而在理论上保证了我们框架的有效性。通过基于矩阵的 Rényi's $α$ 阶熵函数来估计信息论量，避免了在高维空间中进行变分逼近和分布估计的需求。理论证明了我们的框架可以忠实地发现多视角数据中的共有信息和独特信息。在合成数据和七个标准数据集上的实验证明了我们提出的框架优于现有方法的性能。

Jun, 2024

通过信息熵，我们提出了一种实用的方法来解压数据中的重要变化，以研究复杂系统。

Jul, 2023

本文提出了新的测量共享信息，独特信息和协同信息的方法，用于分解与第三个随机变量 X 一起的一对随机变量 $（Y，Z）$ 的多信息。我们的措施受到独特信息的操作思想的启发，建议共享信息和独特信息应该仅依赖于 $（X，Y）$ 和 $（X，Z）$ 的对偶边际分布。虽然此不变性属性以前尚未研究，但其他所提出的共享信息措施满足此不变性属性。这种不变性属性并不能唯一地确定我们的新措施，但它意味着我们定义的函数是符合相同不变性属性的任何其他措施的范围。我们研究了我们的措施的性质并将它们与其他候选措施进行了比较。

Nov, 2013

本文提出了一种基于层次信息分解的无监督学习表示法，针对离散变量的具体实现应用于多个基础任务，包括独立成分分析、有损和无损压缩以及数据中缺失值的预测。

Jul, 2015

本文提出一种新的多元信息量度方法，利用 Venn 图表明任意数量随机变量的信息内容，其基于信息共享的代数结构，考虑观察者共享信息的不同方式与不同阶数的信息关系，得到一种自由分配格的元素。通过联合信息和共享信息量的代数结构，得到了偏向分解所表示的冗余格。

Sep, 2019

本文通过对原始数据进行变量选择，提出一种基于互信息度量的方法，通过选择出与模型输出存在信息联系的重要变量，以达到同时降低模型复杂度、提高模型泛化能力、增强模型解释性的目的。

Sep, 2007

分析科学数据和复杂的多元系统所需的信息数量，为了捕捉多个随机变量之间的关系，最近开发了新的信息理论度量方法，其中多变量系统中协同作用和冗余的概念对于理解高阶依赖关系至关重要。在这项工作中，我们介绍了一种名为 SΩI 的方法，它首次允许在不受限制的系统假设下计算 O-information。通过在合成数据上验证我们的方法，并展示 SΩI 在实际案例中的有效性。

Feb, 2024

本文介绍了通用随机性的最小描述长度的概念，研究了它的性质和计算。同时提出了通用随机性速率的概念，并给出了多字母表征定理。

Feb, 2014

通过迭代分歧最小化算法，优化求解基于信息通道限制条件下条件互信息的最小值，从而确定预测变量对响应变量的唯一、冗余和协同成分的信息分配情况。

Sep, 2017

提出了一种在大型网络中估计信息关系的实用方法，可以可靠地估计互信息和多个信息项，并通过基因表达、金融市场和消费者偏好等领域的分析加以说明。

Feb, 2005