对数行列式散度再探:Alpha—Beta 和 Gamma 对数行列式散度
本文提出了一种信息差和词典学习(IDDL)的判别式度量学习框架,它不仅可以自动学习 SPD 矩阵上的应用特定测度,而且还可以使用学习的词典将它们嵌入为向量。我们使用最近引入的 α-β-logdet 散度学习相似度测量,并在鉴别性框架中联合学习分歧参数和词典原子的参数,利用 Riemannian 优化有效地解决了这个问题。在八个计算机视觉数据集上进行广泛的实验,展示了最先进的性能。
Aug, 2017
本文介绍了一种使用直接优化 “尺度不变的 Alpha-Beta 离散度”(sAB 离散度)的变分逼近框架,该新目标包含了大多数使用 Kullback-Leibler、Rényi 或 gamma 离散度的变分目标,还提供了以前在变分推理环境中从未利用过的目标函数。这通过两个易于解释的控制参数实现,可以在离散度空间上平滑地插值,同时交换目标分布的质量覆盖和数据异常值鲁棒性等属性。此外,通过重新定位用于复杂变分目标的蒙特卡罗计算现有方法,可以直接优化 sAB 变分目标,导致离散度的估计值而不是变分下限。我们展示了这个目标在回归问题的贝叶斯模型上的优势。
May, 2018
本研究针对离散概率分布之间计算精确差异的应用,提出在满足一定条件的情况下,使用 Markov 网络可以计算一系列函数和差异,例如 alpha-beta 差异,以高效地获得精确值。
Dec, 2021
指数族是统计学、信息论和机器学习中的主要模型,其可以通过累积函数或者分区函数进行标准化。减法式和除法式标准化都是严格凸函数,并且引发一对 Bregman 和 Jensen 散度。本研究首先证明了指数族非标准化密度之间的 α- 散度等于分区函数引发的 α- 偏倚 Jensen 散度。然后,研究展示了配对的准算术平均对比可用于定义凸函数变形和对应的对偶平面以及散度的比较凸性。
Dec, 2023
本文研究了高维条件下多元高斯分布的差分熵、协方差矩阵的对数行列式的最优估计问题,建立了样本协方差矩阵对数行列式的中心极限定理,并给出了估计器的收敛率和局限性。
Sep, 2013
通过 Cholesky 分解,我们在对称正定矩阵流形上引入了一种新的黎曼度量 —— 对数 Cholesky 度量,并建立了 Lie 群结构和双不变度量。与现有度量法相比,该方法更简单,更高效且更稳定。
Aug, 2019
提出了利用 Chebyshev、Lanczos 和代理模型的随机估计方法,从只有快速矩阵 - 向量乘法(MVM)的情况下,估计大小为 $n imes n$ 的正定矩阵及其导数的对数行列式。这种方法可以有效地解决 Gaussian process 等问题中的矩阵计算问题。研究发现,在 Chebyshev 和 Lanczos 中,Lanczos 通常优于 Chebyshev,而采用代理方法的速度快且准确。
Nov, 2017
本文提出了基于辅函数的优化方法,包括使用附属函数的 majorization-minimization (MM) 算法和 majorization-equalization (ME) 算法,以求解非负矩阵分解 (NMF) 中的 beta-divergence 形式,同时扩展了该算法以适应罚款 NMF 和 凸 - NMF,并且论文通过对合成和真实数据的模拟证明了 ME 算法的收敛更快。
Oct, 2010