费舍尔信息距离:几何阅读
Fisher-Rao 距离是由 Fisher 信息度量引起的 Riemannian 测地距离,本文通过计算 Fisher-Rao 距离的极限形式、数值逼近和上下界等方法来研究和应用该距离。
Mar, 2024
本文介绍了一种快速且鲁棒的方法来近似计算多变量正态分布之间的 Fisher-Rao 距离,同时将正态分布流形通过微分同胚嵌入到高维对称正定锥面的子流形中,并使用锥面上的投影 Hilbert 距离作为距离度量,通过拉回锥面距离来获得正态分布之间的距离和平滑路径,这种方法在计算复杂度上比 Fisher-Rao 距离近似方法更轻量级,在聚类任务中具有应用价值。
Jul, 2023
当处理参数统计模型时,将参数空间赋予费舍尔信息度量可以自然地产生一个黎曼流形,由该度量引导的参数几何称为费舍尔 - 瑞奥信息几何。有趣的是,这为利用微分几何中的许多工具提供了一个视角。介绍这些概念后,我们将在椭圆分布框架中呈现这些几何工具的一些实际用途,这部分内容主要包括协方差矩阵估计的黎曼优化、内在克拉默 - 瑞奥界限以及使用黎曼距离的分类。
Oct, 2023
给出了一种计算同一指数族统计分布之间 Chi 平方和高阶 Chi 距离的封闭式公式,并针对泊松分布和各向同性高斯分布进行了实例化。然后,我们描述了一种基于泰勒展开和依赖于扩展 Chi 类型距离的 $f$-divergences 的解析公式。
Sep, 2013
本文提出了一个新的两阶段度量学习算法,首先通过计算到一组固定锚点的相似度将每个学习实例映射到概率分布,然后在关联的统计流形上定义输入数据空间上的 Fisher 信息距离,这在输入数据空间中引入了一组具有独特特性的距离度量,不像核化度量学习,我们不需要要求相似度度量是半正定的,而且也可以被解释为具有良好定义的距离逼近的局部度量学习算法。我们在多个数据集上评估了其性能,它明显优于其他度量学习方法和支持向量机(SVM)。
May, 2014
本文讲述了在统计学及数学心理学的多个应用中,Fisher 信息量扮演着重要的角色,并阐明了在三个统计学范式中 Fisher 信息的不同应用:第一,在频率学派范式中,Fisher 信息被用来建立假设检验和置信区间,使用最大似然估计量;第二,在贝叶斯学派范式中,Fisher 信息被用来定义默认优先级;最后,在最小描述长度范式中,Fisher 信息被用来度量模型复杂度。
May, 2017
提出了新的图论解释下的直接估计方法,用于估计 Renyi 和 f-divergence 的度量。通过对 Y 中 k-NN 方案点和 X 中点数之间的平均功率进行估计,可以获得两个密度之间的 Renyi divergence 估计值,并且这种方法可以用于估计 f-divergence 度量。通过使用加权合成估计技术,该方法可以用于具有连续和有界导数的密度函数的估计,其能够获得参数 MSE 率 O (1/N)。
Feb, 2017
本文介绍了一些系统性的方法来获得在任意字母表上定义的概率测度对之间的 f - 差异不等式,其中包括函数占优方法、基于矩不等式和对数凸性属性的方法;在对相对信息性施加有界性假设的情况下,本文还阐述了各种界限,并特别关注了总变差距离及其与相对信息和相对熵的关系,包括 “reverse Pinsker 不等式”,以及广义化的总变差距离 Eγ 差异。
Aug, 2015