本文研究熵和信息在网络中的相关性,建立了连接性相关函数的信息理论模型,并利用其分解了元素群体对外部源的信息。
Jul, 2003
本文提出一种新的多元信息量度方法,利用 Venn 图表明任意数量随机变量的信息内容,其基于信息共享的代数结构,考虑观察者共享信息的不同方式与不同阶数的信息关系,得到一种自由分配格的元素。通过联合信息和共享信息量的代数结构,得到了偏向分解所表示的冗余格。
Sep, 2019
本研究提出一种信息论度量方法对时间演化系统间的统计相关性进行量化,通过迁移概率的适当条件化排除共同历史和输入信号对信息交换的影响,从而得到的传输熵可以区分驱动和响应元件,并检测子系统间的不对称性。
Jan, 2000
通过信息熵,我们提出了一种实用的方法来解压数据中的重要变化,以研究复杂系统。
Jul, 2023
本文研究有限边缘集上香农信息量度的一些一般特性以及与最优化问题的关系,引入最小熵耦合的概念及其在信息理论、计算和统计学上的相关性,并研究由这些耦合所定义的偏度量族,特别是它们与总变差距离的关系,并给出对条件熵的新的表征。
Mar, 2013
本文提出了一种基于证明的信息量度量方法,该方法以涉及待证公式的可能证明集合(即 “知识库”)定义概率度量,使用熵的方法计算信息量。
May, 2022
分析科学数据和复杂的多元系统所需的信息数量,为了捕捉多个随机变量之间的关系,最近开发了新的信息理论度量方法,其中多变量系统中协同作用和冗余的概念对于理解高阶依赖关系至关重要。在这项工作中,我们介绍了一种名为 SΩI 的方法,它首次允许在不受限制的系统假设下计算 O-information。通过在合成数据上验证我们的方法,并展示 SΩI 在实际案例中的有效性。
Feb, 2024
本文提出了一个基于信息论的新框架,旨在解决复杂系统中的信息推理问题,该框架基于 Shannon 信息理论的变分扩展,结合了建模能力和计算限制,提出了预测 V - 信息的概念,在模型表示学习和系统结构学习方面表现优于传统的相互信息的方法。
Feb, 2020
本研究介绍了一种新型协同效应计量方法并对其与其他三种信息理论方法进行了比较,研究表明本研究方法可准确测量多个变量对于单一结果变量的协同效应,同时也证明独立预测因子可以具有积极的冗余信息。
May, 2012
本文提出了新的测量共享信息,独特信息和协同信息的方法,用于分解与第三个随机变量 X 一起的一对随机变量 $(Y,Z)$ 的多信息。我们的措施受到独特信息的操作思想的启发,建议共享信息和独特信息应该仅依赖于 $(X,Y)$ 和 $(X,Z)$ 的对偶边际分布。虽然此不变性属性以前尚未研究,但其他所提出的共享信息措施满足此不变性属性。这种不变性属性并不能唯一地确定我们的新措施,但它意味着我们定义的函数是符合相同不变性属性的任何其他措施的范围。我们研究了我们的措施的性质并将它们与其他候选措施进行了比较。
Nov, 2013