本文研究熵和信息在网络中的相关性,建立了连接性相关函数的信息理论模型,并利用其分解了元素群体对外部源的信息。
Jul, 2003
本文研究了网络结构熵的复杂性度量,通过对给定期望度序列的网络的 Shannon 熵和 Von Neumann 熵之间的关系的研究,发现当度分布包含一定的异质性时,两种熵之间存在有趣的相关性,这似乎表明这种异质性意味着网络的量子和经典描述之间的等价性分别对应于 Von Neumann 和 Shannon 熵。
Nov, 2010
本文运用量子统计力学的技术来定义复杂网络的熵度量,并开发了一组基于网络谱属性的信息理论工具,可以用于最大似然估计和模型选择。通过将这个框架应用于人体微生物组的网络,我们通过层次聚类分析高精度地恢复出现有的社区关联。
Sep, 2016
本文介绍了如何将信息论的关键概念推广到网络中,定义了网络集合的香农熵并解释了其与网络集合的吉布斯熵和冯・诺依曼熵之间的关系,这为通过最大熵理论获得网络零模型解决了关键问题,并在复杂网络领域的推理问题中发挥重要作用。
Jul, 2009
本文研究有限边缘集上香农信息量度的一些一般特性以及与最优化问题的关系,引入最小熵耦合的概念及其在信息理论、计算和统计学上的相关性,并研究由这些耦合所定义的偏度量族,特别是它们与总变差距离的关系,并给出对条件熵的新的表征。
Mar, 2013
本文介绍基于广义加权 Le Cam 差异概念的两个量,用于衡量一个通道相对于另一个通道的独特信息,其中一个量是基于通道是否可以在其输入或输出处进行随机化,还将所提出的量与现有的最小协同独特信息的量进行关联,并探讨独特信息在非负互信息分解中的作用。
Jul, 2018
本文提出一种新的多元信息量度方法,利用 Venn 图表明任意数量随机变量的信息内容,其基于信息共享的代数结构,考虑观察者共享信息的不同方式与不同阶数的信息关系,得到一种自由分配格的元素。通过联合信息和共享信息量的代数结构,得到了偏向分解所表示的冗余格。
Sep, 2019
研究多变量情况下信息理论的推广,提出新的冗余定义及局部信息原子的概念,以此完整且清晰地描述多元信息,避免交互信息产生的问题并让信息量具有明确的解释。
Apr, 2010
通过子集联合熵的任意集合,得到一组随机变量的联合熵的上下界,同时展现了这些不等式对拟模函数的一般新结果的特殊情况,进而得到解决组合学问题、矩阵理论、相对熵等方面的新不等式。
Dec, 2008
本文介绍了一类采用可计算的信息理论模型的深度学习模型,探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法,在该方法的基础上,设计了一种实验框架用于对生成模型进行训练,并对该模型进行验证,同时研究了本模型在学习过程中的行为,得出结论:在所提出的情况下,压缩和泛化之间的关系仍然不明确。
May, 2018