Oct, 2023

CES 分布的 Fisher-Rao 几何

PDF
TL;DR当处理参数统计模型时，将参数空间赋予费舍尔信息度量可以自然地产生一个黎曼流形，由该度量引导的参数几何称为费舍尔 - 瑞奥信息几何。有趣的是，这为利用微分几何中的许多工具提供了一个视角。介绍这些概念后，我们将在椭圆分布框架中呈现这些几何工具的一些实际用途，这部分内容主要包括协方差矩阵估计的黎曼优化、内在克拉默 - 瑞奥界限以及使用黎曼距离的分类。
发现论文，激发创造
  • Fisher-Rao 距离的近似和界定技术

    Fisher-Rao 距离是由 Fisher 信息度量引起的 Riemannian 测地距离，本文通过计算 Fisher-Rao 距离的极限形式、数值逼近和上下界等方法来研究和应用该距离。

    Mar, 2024

  • 多元正态分布之间的 Fisher-Rao 距离和拉回 SPD 圆锥距离

    本文介绍了一种快速且鲁棒的方法来近似计算多变量正态分布之间的 Fisher-Rao 距离，同时将正态分布流形通过微分同胚嵌入到高维对称正定锥面的子流形中，并使用锥面上的投影 Hilbert 距离作为距离度量，通过拉回锥面距离来获得正态分布之间的距离和平滑路径，这种方法在计算复杂度上比 Fisher-Rao 距离近似方法更轻量级，在聚类任务中具有应用价值。

    Jul, 2023

  • CMA-ES 的信息几何学视角下的理论基础

    本文从信息几何的角度探讨了协方差矩阵自适应进化策略（CMA-ES）的理论基础，并得出一些关键性的结论，包括 CMA-ES 中抽样分布参数的更新与期望适应性的自然梯度学习等存在密切联系。

    Jun, 2012

  • 费舍尔信息距离：几何阅读

    本文采用几何方法研究 Fisher 距离（用于测量两个概率分布函数之间的差异），并在多种统计模型中应用超几何几何学推导 Fisher 距离，同时设计与 Kullback-Leibler 差异测量的关联。

    Oct, 2012

  • 概率几何度量

    使用 Riemannian 几何工具研究了概率生成降维模型的几何结构，以高斯过程为基础，定义了一种度量分布，利用度量在潜变量空间中进行插值并测量距离，从而更恰当地生成新数据。

    Nov, 2014

  • 黎曼对称空间上的高斯分布：结构化协方差矩阵的统计学习

    本文提出了一种新的概率分布 —— 结构化协方差矩阵的高斯分布，以应对在计算机视觉、生物医学信号和图像处理、雷达数据处理中使用 Riemannian 几何技术处理结构化协方差矩阵的挑战。通过在 Riemannian 对称空间上发展高斯分布的原理和应用，提供了一种建模方法和统计学基础，并提出了密度估计和分类等有效的统计学习算法。

    Jul, 2016

  • 利用 Fisher 度量的黎曼拉普拉斯近似

    拉普拉斯方法是一种近似目标密度函数的高斯分布方法，通过选择黎曼几何进行变换，可以提供更丰富的近似函数族，具有计算效率高的优点，并且通过引入两个可选的变种提高了无限数据极限下的准确性。

    Nov, 2023

  • 神经网络的 Fisher-Rao 度量、几何和复杂性

    从不变性观点研究深度神经网络的几何和容量度量之间的关系，引入了具有期望不变性的 Fisher-Rao 范数作为新的容量概念，并发现了其分析特征和规范比较不等式，证明了其作为多种基于范数的复杂度度量的伞兵角色，讨论了引入新的度量方式对泛化误差的影响，使用 CIFAR-10 数据集的大量数值实验支持了理论分析的发现，研究的分析基于多层整流器网络局部导数的关键结构引理。

    Nov, 2017

  • 镜像下降的信息几何

    通过 Bregman 分歧诱导的镜像下降是双重黎曼流形上的自然梯度下降算法，使用对数似然损失的镜像下降在指数族参数估计中渐近地达到了经典的 Cramer-Rao 下限，指数族对应的流形的自然梯度下降可以通过镜像下降实现一阶方法。

    Oct, 2013

  • 最优输运与 Fisher-Rao 之间的插值距离

    本文定义了一种新的运输度量，该度量插值了二次 Wasserstein 和 Fisher-Rao 度量，并将优化运输推广到具有不同质量的度量，通过在连续性方程中引入源项来定义该度量。

    Jun, 2015