- 密度比估计的二元损失
从有限数量的密度观测结果中估计两个概率密度的比率是机器学习和统计学中的一个核心问题。本研究从一类 Bregman 散度中的预设误差度量出发,表征了导致密度比率估计具有小误差的所有损失函数,并提供了一个简单的构建具有特定属性的损失函数的方法。
- 使用全能预测器进行单指数模型的不可知学习
本论文给出了学习任意单指标模型的全新结果,其中所需的激活函数参数满足 Lipschitz 范数和单调性,算法及分析基于 Bregman 距离和匹配损失的联系,同时也对 GLMtron 和逻辑回归等算法在普遍学习场景给出了新的保证。
- ICMLBregman--Moreau 包络下的 Bregman 近端 Langevin Monte Carlo
该研究提出了基于 Langevin Monte Carlo 的高效采样算法,针对由连续可微函数和非光滑函数组成的凸结合势函数进行采样。该算法利用了凸分析和优化方法中 Bregman 散度的最新进展,并将 Langevin Monte Car - ICML基于 Bregman Power 的 k 均值算法用于聚类指数族数据
这篇论文介绍了一种基于 Bregman 距离的聚类算法,相较于 Lloyd 的 K-means 算法,在聚类非高斯数据方面有更好的表现,并提供了理论依据和实验验证。
- 同伦策略镜像下降:策略收敛,隐含正规化和改进样本复杂度
提出了一种新的策略梯度方法 —— 同伦策略镜像下降 (HPMD),用于解决具有有限状态和动作空间的折扣、无限时间 MDPs,并具有多种计算性质。该方法在全局和局部上均具有收敛性,并且能够在一定条件下证明和表征极限策略。同时,使用该方法可同时 - LocoProp:通过本地损失优化增强 BackProp
本文介绍了一个基于层次损失构建的一般框架,用于多层神经网络的优化,并使用具有不同传递函数的层次 Bregman 离散来证明其效果,以缩小一阶和二阶仿真器之间的差距。
- 基于 Bregman 散度的鲁棒双温度逻辑损失
本文介绍一种在神经网络中引入温度的方法,并用高温通用性替换 softmax 输出层。通过调节两种温度来创建单层情况下的非凸损失函数,替换神经网络的最后一层并用双温度通用的逻辑损失函数进行训练,可使训练在一定程度上更加鲁棒。基于 Bregma - 鲁棒的 Bregman 聚类
本文采用一种剪枝方法,探讨基于 Bregman 距离的 k-means 聚类方法,以聚类可能被污染的数据为主要焦点,证明存在最优码本,提出具有剪枝参数的 Lloyd 算法,可根据数据选择启发式方法进行选择,并提供了一些实验结果。
- 正则化最优输运及 Rot Mover's 距离
本文提出了一种针对离散最优输运问题的平滑凸正则化统一框架,并基于 Bregman 差异将正则化最优输运等效于矩阵相似问题,其中的算法包括基于 Sinkhorn-Knopp 以及 Dykstra 的交替投影算法,以及基于牛顿 - 拉夫逊法的扩 - 具单调激活函数的随机神经网络
本研究提出了一种利用高斯噪声从任何光滑单调激活函数创建随机单元的拉普拉斯近似,研究了该随机近似在训练一类与 Bregman 散度密切相关的 Restriced Boltzmann Machines 表现良好。我们称此类为指数族 RBM(Ex - 用于硬和软 Bregman 聚类的强核心集及其在指数族混合模型中的应用
提出了一种使用 Bregman 差异构建强核心集的单一实用算法,可用于广泛的硬聚类和软聚类问题,并演示了该算法的实用性。
- 无限维协方差矩阵的布雷格曼散度
本文介绍了一种利用无穷维空间中的 Covariance Descriptors(CovDs)进行计算和比较的方法,并通过利用核函数计算 Hilbert 空间中的 CovDs 之间的多种 Bregman 散度,克服了 CovDs 只保留测量二 - 镜像下降的信息几何
通过 Bregman 分歧诱导的镜像下降是双重黎曼流形上的自然梯度下降算法,使用对数似然损失的镜像下降在指数族参数估计中渐近地达到了经典的 Cramer-Rao 下限,指数族对应的流形的自然梯度下降可以通过镜像下降实现一阶方法。
- 使用 Bregman 散度和单调重新定向学习排序
该论文介绍了一种基于单调重定位的学习排序方法,它最小化了训练得分的所有单调递增转换和参数化预测函数之间的差异,该方法可轻松实现,可高效并行,同时也具有全局最优保证。
- ICMLBregman 分层聚类
这篇论文通过 Bregman 距离对凸函数进行聚类,引入几何平滑技术处理聚类异常,并基于过完备表示的指数家族模型发展 Bregman 距离算法。
- 统计指数族:摘要和学习工具
该文介绍了常见于统计学中的指数族分布,着重回顾并总结了分布的性质、双重性,以及常见分布的分解和相关公式。同时介绍了 Fisher-Rao-Riemannian 几何和统计流形的双重仿射连接信息几何,以便于后续添加新的分布选项。
- 二元实验的信息、离散度和风险
本文通过系统地研究这些对象和它们的积分和变分表示,识别了它们的原语,将其与成本敏感的二进制分类联系起来,阐明了生成和判别视图之间的关系,提供了更紧密和更广泛的代理损失界限和广义 Pinsker 不等式,并提出了估计 f 散度的新技术。