Nov, 2013

量化独特信息

PDF
TL;DR本文提出了新的测量共享信息，独特信息和协同信息的方法，用于分解与第三个随机变量 X 一起的一对随机变量 $（Y，Z）$ 的多信息。我们的措施受到独特信息的操作思想的启发，建议共享信息和独特信息应该仅依赖于 $（X，Y）$ 和 $（X，Z）$ 的对偶边际分布。虽然此不变性属性以前尚未研究，但其他所提出的共享信息措施满足此不变性属性。这种不变性属性并不能唯一地确定我们的新措施，但它意味着我们定义的函数是符合相同不变性属性的任何其他措施的范围。我们研究了我们的措施的性质并将它们与其他候选措施进行了比较。
shared informationunique informationsynergistic informationrandom variablepair marginal distributions
发现论文，激发创造
  • 计算唯一信息

    通过迭代分歧最小化算法，优化求解基于信息通道限制条件下条件互信息的最小值，从而确定预测变量对响应变量的唯一、冗余和协同成分的信息分配情况。

    Sep, 2017

  • 量化协同互信息

    本研究介绍了一种新型协同效应计量方法并对其与其他三种信息理论方法进行了比较，研究表明本研究方法可准确测量多个变量对于单一结果变量的协同效应，同时也证明独立预测因子可以具有积极的冗余信息。

    May, 2012

  • 独特信息与缺陷

    本文介绍基于广义加权 Le Cam 差异概念的两个量，用于衡量一个通道相对于另一个通道的独特信息，其中一个量是基于通道是否可以在其输入或输出处进行随机化，还将所提出的量与现有的最小协同独特信息的量进行关联，并探讨独特信息在非负互信息分解中的作用。

    Jul, 2018

  • 多视图数据中的共享信息发现

    提出了一个创新且数学严谨的定义，用于从多视角数据中计算共有信息。利用这个定义，开发了一种新颖的监督式多视角学习框架，以捕捉共有信息和独特信息。通过明确最小化总相关性项，可以让从每个视角提取的共有信息和独特信息彼此独立，从而在理论上保证了我们框架的有效性。通过基于矩阵的 Rényi's $α$ 阶熵函数来估计信息论量，避免了在高维空间中进行变分逼近和分布估计的需求。理论证明了我们的框架可以忠实地发现多视角数据中的共有信息和独特信息。在合成数据和七个标准数据集上的实验证明了我们提出的框架优于现有方法的性能。

    Jun, 2024

  • 多元信息内容的通用度量

    本文提出一种新的多元信息量度方法，利用 Venn 图表明任意数量随机变量的信息内容，其基于信息共享的代数结构，考虑观察者共享信息的不同方式与不同阶数的信息关系，得到一种自由分配格的元素。通过联合信息和共享信息量的代数结构，得到了偏向分解所表示的冗余格。

    Sep, 2019

  • 从众多变量中筛选共同信息

    本文提出了一种可扩展的方法，通过信息筛分解和简单的迭代过程，解决 Wyner 公共信息问题。该方法在高维度学习问题上比标准方法表现更好，并成功地恢复了大脑成像数据中的结构。

    Jun, 2016

  • S$Ω$I: 基于评分的 O - 信息估计

    分析科学数据和复杂的多元系统所需的信息数量，为了捕捉多个随机变量之间的关系，最近开发了新的信息理论度量方法，其中多变量系统中协同作用和冗余的概念对于理解高阶依赖关系至关重要。在这项工作中，我们介绍了一种名为 SΩI 的方法，它首次允许在不受限制的系统假设下计算 O-information。通过在合成数据上验证我们的方法，并展示 SΩI 在实际案例中的有效性。

    Feb, 2024

  • 估计连续变量的唯一信息

    这篇论文提出了一种在持续型分布下估算唯一信息的方法，通过对联合分布进行协同分解和应用与变分自编码器优化技术相结合的方法，为 PID 领域提供了新的研究视角。

    Jan, 2021

  • 依赖关系约束实现独特信息

    该研究开发一种基于新方法量化唯一信息的分解方法，并使用该方法对适用范围广泛的依赖分解法进行定义和衡量，从而首次提出了满足 PID 框架核心公理且不满足 Blackwell 关系的度量方法，为实现 PID 提供了重要进展。

    Sep, 2017

  • 估计互信息

    本文介绍了基于 $k$- 最近邻距离的熵估计的改进互信息估计器类别，并说明了它们与现有算法的比较和实际应用中的有效性。

    May, 2003