Dec, 2023

指数族的双减法和除法归一化引发的分歧及其凸变形

TL;DR指数族是统计学、信息论和机器学习中的主要模型,其可以通过累积函数或者分区函数进行标准化。减法式和除法式标准化都是严格凸函数,并且引发一对 Bregman 和 Jensen 散度。本研究首先证明了指数族非标准化密度之间的 α- 散度等于分区函数引发的 α- 偏倚 Jensen 散度。然后,研究展示了配对的准算术平均对比可用于定义凸函数变形和对应的对偶平面以及散度的比较凸性。