- 通过维度对数 Sobolev 不等式在概率测度中精确检测低维结构
提出了一种通过最小化维度对数 Sobolev 不等式和 KL 散度,以识别目标与参考测度之间的近似关系的方法,该方法适用于高维概率测度的低维结构识别和有效抽样。
- Nyström 内核 Stein 差异
通过在大规模场景中应用 Nyström-based KSD 加速方法,本研究提出了一种基于核方法的新的好拟合测试方法,并在一系列基准测试中展示了其适用性。
- 从均场稳态分布中取样
研究了从一个平均场 SDE 的稳态分布进行采样的复杂性,或者等效地,从包括相互作用项的概率测度空间中最小化一个函数的复杂性。我们的主要见解是解耦这个问题的两个关键方面:(1)通过有限粒子系统均匀地传播混沌来近似平均场 SDE,以及(2)通过 - 用神经最优传输估计分布的重心
使用建立在最优输运(Optimal Transport)的对偶形式基础上的新的可扩展方法,提出了求解 Wasserstein barycenter 问题的策略,具有双层对抗学习目标且适用于广义成本函数,同时在理论上建立了误差界限,并在图像数 - 一种新的贝叶斯定理用于上限概率
本文在先前的研究基础上,提出了一种关于 Bayes' 后验概率、可测集、概率测度和似然度的新结论,并探讨了其在工程、机器学习和人工智能等领域的应用潜力。
- 神经网络分布回归学习理论
通过全连接神经网络 (FNN) 建立分布回归的逼近理论和学习理论,针对概率测度作为输入变量的分布回归问题,建立了一种创新的神经网络框架,实现了定义在 Borel 概率测度空间上的泛函逼近理论,并通过两阶段误差分解技术推导了几乎最优的学习速率 - 可信区间体积是一种衡量认识不确定性的好方法吗?
本文提出了以区间概率来代表不确定性的方法,并阐述了其在二分类问题中衡量认知不确定性的几何意义。然而,在多分类问题中,利用几何体积来衡量认知不确定性则变得无意义。所以在机器学习领域中,对于不确定性的表达和量化需要谨慎处理。
- 不平衡最优输运遇到切片 Wasserstein
本文提出以切片和非平衡最优运输为基础的一般框架,利用 Frank-Wolfe 型算法来比较正测度,并概述了它们的统计特性。
- 通过切片 Wasserstein 距离优化的同胚形变用于大脑皮层表面重建
使用切片 Wasserstein 距离,基于概率测度的 Mesh 变形方法进行了研究。使用神经常微分方程 ODE 对输入的 Mesh 表面进行变形,其结果在多个数据集和指标上均超过了其他竞争方法。
- 功能流匹配
本文提出一种功能流匹配(FFM)方法,是一种在无限维空间中直接操作的功能空间生成模型,通过定义概率量的路径,学习函数空间中的向量场来产生这些概率量的路径,而不依赖于似然度或模拟,经过实验评估表明,该方法优于其他具有相似功能的生成模型。
- 受限领域中的无学习率贝叶斯推理
通过利用凸优化中的 coin betting 思想,将约束取样视为概率测度空间上的镜像优化问题,我们介绍了一套完全不依赖学习率的基于粒子的约束取样算法,并引入了现有约束取样算法的统一框架。数值实验表明,我们的算法在清单、公平约束、后选推理等 - 深度集成和(变分)贝叶斯方法之间的严密联系
本文建立了贝叶斯、变分贝叶斯和集成学习方法之间的第一个数学严谨联系,并将深度学习中常遇到的非凸优化问题重新表述为概率测度空间中的凸优化。我们通过 Wasserstein 梯度流的广义变分推理研究统一理论,这提供了各种看似不相关的方法(包括深 - 信息论泛化界的统一框架
文中提出了一种利用概率去相关引理、对测度空间中的的概率测度进行对称化、配对和链化等技术来获得学习算法信息论泛化界限的一般性方法,进而得到新的期望值和高概率条件下泛化误差的上界,特别地,还包括了基于互信息、条件互信息、随机链和 PAC-Bay - 基于得分的算子牛顿法用于测量传输
通过利用目标分布的得分,我们构造了一个新的输运映射,并将其特征化为一个无限维的得分残差算子的零点,并推导出了一种迭代构造这种零点的牛顿型方法。
- Belnap-Dunn 逻辑下的信念函数更新
本文研究如何通过 Belnap-Dunn 逻辑的框架语义来更新置信度函数,以应对不完整和矛盾的信息,扩展了概率测度和置信度函数的概念。
- AAAI离散可分解模型之间计算的差异
本研究针对离散概率分布之间计算精确差异的应用,提出在满足一定条件的情况下,使用 Markov 网络可以计算一系列函数和差异,例如 alpha-beta 差异,以高效地获得精确值。
- ICML小批量数据的传输:一种层次式方法
我们提出了一种新的小批量最优输运方法 Batch of Mini-batches Optimal Transport(BoMb-OT),它把小批量之间的最优耦合考虑在内,可以看作是在概率测度空间上定义的有效距离的逼近,通过实验表明,BoMb - Wasserstein 空间上的快速平滑插值
利用最优输运的几何特性提出了一种新的光滑插值概率测度的方法,并将问题简化为经典的欧几里得设置,使我们可以直接利用样条插值的广泛工具箱。与以前的测量值样条的方法不同,我们的插值曲线(i)具有自然的粒子流控制解释,这对于应用非常自然,并且(ii - MM学习 Wasserstein 距离的置换不变网络
通过置换不变网络将样本从概率测度映射到低维空间,使编码样本之间的欧几里得距离反映概率测度之间的 Wasserstein 距离,进一步证明了该网络可以推广到正确计算未见密度之间的距离,并且可以学习到概率分布的第一和第二矩。
- ICML神经网络学习对称函数的功能视角
本文主要研究了定义在概率度量上的神经网络的学习和表示,通过研究不同正则化选择下的近似和泛化界限,建立了一个具有不同非线性学习程度的功能空间等级体系,从而解决了对称函数的泛化问题。