MMJul, 2015

估计被指导的信息和检验因果关系

PDF
TL;DR研究了在联合过程是给定记忆长度的马尔可夫链的情况下，通过插件（或最大似然）估计算法来估算两个离散过程 {Xn} 和 {Yn} 之间的有向信息速率的问题。插件估计器被证明是渐近高斯的，并在适当条件下以最优速率 O（1/√n）收敛；这是第一个已被证明可以达到此速率的估计器。同时，该研究发现估算有向信息速率的问题与执行关于两个过程之间因果关系存在的假设检验问题之间存在重要联系。 这些结果有助于设计实际的似然比检验，以检验因果影响的存在或不存在。
发现论文，激发创造
  • 有向信息的通用估计

    提出了四种估计器用于有限字母过程对之间的有向信息速率，基于通用概率分配。利用这些理论结果，使用上下文树加权算法作为通用概率分配实现了提出的估计器，并在合成和实际数据上进行了实验，证明了提出的方案的潜力及有向信息估计在检测和测量因果影响和延迟方面的实用性。

    Jan, 2012

  • 定向信息图

    提出了一个用于表示随机过程网络的图形模型 —— 最小生成模型图。该模型是基于时间上联合分布的简化因子化建立的，可以量化 Granger 因果性，并开发了高效的方法来从数据中估计拓扑结构。该算法已在 Twitter 网络的分析上得到了验证。

    Apr, 2012

  • 速率失真函数估计

    本文引出自压缩领域和相关的理论问题，分析了通过实证数据来估计未知（并非必须是离散型的）信源的失真率 - 失真函数的问题。我们探讨了 “插件” 估计器的行为，给出了其一致性的充分条件，同时提供了某些情况下它失败的例子。针对一类广泛的信源，包括所有的平稳和符合渐进频率的信源，给出了 “插件” 估计器的一般一致性结果。最后，本文还提出了关于 “插件” 估计器的修正版本的一致性定理和最优重现分布估计的问题。

    Feb, 2007

  • 插值分类器的快速学习率

    研究揭示了插值分类器能够实现快速的过度贝叶斯风险收敛率，并证明了有时能够获得超快速收敛率，这与传统认知的最快收敛率为 $n^{-1}$ 不一致，而且通过最小化风险方法构造的分类器一般会收敛得更慢。

    Aug, 2007

  • 跨相关随机过程的信息流速率

    我们通过统计特性数据推导出了信息流速率与自相关函数的解析特性和特征时间之间的关系，从而阐明了采样步长、交叉相关强度和时间延迟对信息流速率的影响。我们通过数值模拟支持了理论结果。

    Jan, 2024

  • Granger 因果性与有向信息理论的关系：一篇综述

    文章回顾了 Granger 因果关系和定向信息理论之间的概念和理论联系，并着重介绍了基于预测、条件独立性和即时耦合的 Granger 因果关系定义，以及基于传输熵的有向信息理论框架下的因果度量方法与 Granger 因果推断框架自然嵌合的假设检验机制。

    Nov, 2012

  • 密度水平集插值估计的最优速率

    研究密度水平集估计领域的插件方法的收敛性，建立了在密度的两个主要假设条件下的最优收敛速率和在 Hoelder 平滑性时的极小极大下界

    Nov, 2006

  • 基于广义最近邻图的 Rényi 熵和互信息估计

    本文提出了一种基于非参数估计和广义最近邻图的计算 Renyi 熵和互信息的算法，证明了这种算法的几乎必然一致性和上限的收敛速度，并在实验中展示了其在独立子空间分析中的实用性。

    Mar, 2010

  • 学习具有记忆的高维马尔可夫过程的影响图

    基于对多个应用程序在社交网络、神经系统和金融风险分析中的动机，我们研究了学习具有内存的高维多元离散时间马尔可夫过程的底层（有向）影响图或因果图的问题。我们将一个已有的算法扩展到这种带有内存的马尔可夫设定中，并证明了在影响图的度受限制的条件下，它可以基于二进制观测量学习影响图，在样本复杂度上具有对数（相对于变量或节点数量）的要求。本工作的重要分析贡献是通过上界和下界约束观测到的带有内存的马尔可夫过程相对于影响图参数的收敛速率来导出样本复杂度结果。

    Jun, 2024

  • 密度泛函估计量的指数集中性

    本文研究插值法估计器，对于一个或多个连续概率密度的广泛积分函数进行分析，证明了该估计器在 $d$ 维单位立方体上的密度函数收敛于速率 $O (n^{- rac {eta}{eta + d}})$, 并且估计器关于其均值的集中呈指数级，而大部分先前的相关研究仅证明估计器的预期误差界限。

    Mar, 2016