- 指数族的双减法和除法归一化引发的分歧及其凸变形
指数族是统计学、信息论和机器学习中的主要模型,其可以通过累积函数或者分区函数进行标准化。减法式和除法式标准化都是严格凸函数,并且引发一对 Bregman 和 Jensen 散度。本研究首先证明了指数族非标准化密度之间的 α- 散度等于分区函 - 基于本地指数族的光纤束改进的 MDL 估计器
使用两部分代码进行通用编码的最小描述长度 (MDL) 估计器进行了分析,对于一般参数族,在某些正则条件下,我们引入了一种两部分代码,其遗憾接近于最小最大遗憾,其中对于目标族 M 的一个元素实现的理想代码长度与代码长度之间的差异是遗憾。我们通 - 使用平衡指数度量的增强算法
本研究中,我们将 AdaBoost ML 算法推广到最近引入的体温指数测量(TEMs),其中规范化强制执行在该测量的特定功率上而不是测量本身,我们的 $t$-AdaBoost 算法保留了 AdaBoost 的指数收敛速率,同时使速率的隐藏常 - 稀疏和连续的注意机制
本文将 alpha-entmax 方法扩展到连续域,同时提出了基于连续域注意机制的梯度反向传播算法,并通过在文本分类、机器翻译和视觉问答方面的实验表明了连续注意力机制的应用。
- 广义后验的渐近正态性、集中性和覆盖性
本文提出了广义后验具有集中性,渐进正态性 (Bernstein-von Mises),A Laplace 近似正确,以及渐近正确的频率覆盖率的充分条件,并将其应用于广义似然的广义后验中,包括一般的伪似然,高斯马尔科夫随机场伪似然,完全观察的 - 关于 Jensen-Shannon 散度的一般化以及基于抽象均值的距离 JS 对称化
本文提出了一种使用抽象均值的 Jensen-Shannon(JS)差异的推广来绕过高斯分布之间的 JS 差异无法使用封闭形式表示的问题,并定义了任何距离的 JS 对称化。我们特别分别以几何平均和调和平均为例,推导了封闭形式的公式,其中包括基 - NIPS指数族信息的差分隐私贝叶斯推断
该研究的主要内容是关于私人推断的方法,该方法为指数族的私人贝叶斯推断提供了第一个解决方案并且能够充分考虑隐私机制引入的噪声,从而提供正确校准的后验置信度。
- 指数族分布下尾概率的界限
该论文提出了与指数型分布家族相关的尾部概率新不等式,这些分布包括泊松分布、伽马分布、二项分布、负二项分布和倒数高斯分布。所有这些不等式都以有符号对数似然函数为表述,并且这些不等式是定性的,表述用随机支配或者交集属性,即某个离散分布非常接近于 - 重要性抽样所需样本大小
本文介绍了重要性采样在近似相异概率测度中的样本量问题,并使用 Kullback-Leibler 散度推导得到了关于一参数指数族的普遍公式。
- 熵障碍:一种简单且最优的通用自协调障碍
本文通过对数凹分布的基本几何和指数族内元素的基础对偶性证明了一致测度空间中凸体均匀测度的 Cramér 变换是一种 $(1+o (1)) n$- 自共轭障碍,改进了 Nesterov 和 Nemirovski 的开创性成果,这为具有最佳自共 - 镜像下降的信息几何
通过 Bregman 分歧诱导的镜像下降是双重黎曼流形上的自然梯度下降算法,使用对数似然损失的镜像下降在指数族参数估计中渐近地达到了经典的 Cramer-Rao 下限,指数族对应的流形的自然梯度下降可以通过镜像下降实现一阶方法。
- 指数族置换估计
本文研究一类排列上的指数族,并计算其规范化常数的渐近性质,证明 MLE 及一种可计算的近似 MLE 是一致的,证明 Besag 的伪似然估计是 sqrt(n)- 一致的,证明了迭代算法(IPFP)收敛于极限规范化常数,并且对应用于 Mall - 用于离散数据的马尔科夫无环有向混合图
研究了无向边和有向边混合,并且无向边形成无环图的 acyclic directed mixed graphs (ADMGs) 及其概率模型,提出了一种基于简单路径判据的全局马尔科夫性标准 ——m-separation,并得到了该模型的因子分 - 离散图模型的结构估计:广义协方差矩阵及其逆矩阵
本文探讨了离散图模型结构与广义协方差矩阵逆矩阵的关系,证明了对于某些图结构,指示变量的逆协方差矩阵的支撑集反映了图的条件独立结构,并提出了一种新的方法来估计缺失或受损观测值的结构,给出了这些方法的非渐近性保证并通过模拟说明了这些预测的精度。
- 从流形中进行采样
本文提出了从 Rn 中嵌入的子流形上的概率分布中进行抽样的算法,并应用于 “拓扑统计” 中算法的评估,指数族的拟合度检验以及 Neyman 的平滑检验。该文章部分是阐述性的,介绍了几何测度论的工具。
- ICMLBregman 分层聚类
这篇论文通过 Bregman 距离对凸函数进行聚类,引入几何平滑技术处理聚类异常,并基于过完备表示的指数家族模型发展 Bregman 距离算法。
- 有界随机赌博机及其扩展的 KL-UCB 算法
本文针对随机赌博问题,提出了一种在线动态索引策略 KL-UCB 算法,并通过有界回报和伯努利回报两个方面的研究证明了其优越性和适用性,同时展示了比较实验结果,在时间短的情况下依然表现良好,且优于其他算法。
- 复制方程作为推断动态
本研究将复制子方程解释为连续推理方程,并描述了离散复制子方程与贝叶斯推理之间的形式相似性,进一步阐明了推理和复制子方程之间的联系,包括讨论信息分歧和指数族作为复制者动态解的解决方案,使用 Fisher 信息和信息几何。
- 高维指数族学习:强凸性和稀疏性
本文研究指出指数分布族拥有的一种强凸性质对于分析一般指数分布族在 L_1 正则化下的泛化能力具有重要作用。