- $t^3$ 变分自编码器:使用学生 $t$ 分布和功率散度学习重尾数据
利用重尾模型改进变分自编码器(VAE)框架,提出 $t^3$VAE,通过信息几何的洞察力和 $t$ 分布,在先验、编码器和解码器中引入 $t$ 分布,形成更适合真实数据集的力度形式的联合模型。在重尾合成数据的训练中,$t^3$VAE 展现出 - 机器学习相变:与费舍尔信息的关联
机器学习技术用于检测相变已经被广泛使用并取得成功,但其工作原理和基本限制仍然不清楚。本研究使用信息几何学的工具,通过将流行的机器学习相变指标与信息论概念联系起来,解释了其内部工作原理,并确定了潜在的失效模式。我们证明了几个机器学习相变指标从 - 工作信息论者的信息几何学
信息几何是从几何的角度研究统计流形,即概率分布空间的研究。本文概述了信息几何的基本概念,并介绍了在统计流形上的距离、散度以及最近的信息几何发展方向。
- ICLR测地模式连接性
使用信息几何的框架,我们假设在参数化分布的空间中的最短路径(称为测地线)对应于损失景观中的模式连接路径,并提出了一种算法来近似这些测地线并证明它们实现了模式连接的功能。
- 基于球面和双曲面托望拓扑编码的图嵌入中的 Ising MRF 模型:经典和量子拓扑机器学习
该论文介绍了应用信息几何描述伊辛模型的基态,该方法利用环状和准循环码的奇偶检验矩阵,建立了机器学习和纠错编码之间的关联。此方法对于基于陷阱集的新嵌入方法有重要意义。
- 信息几何泛化协变量移位自适应
本文研究了机器学习中的一个重要研究主题:协变量转移。我们表明这个领域的方法都可以归为信息几何的范畴,并且我们提出的方法可以更高效地进行参数搜索和更好地适应数据,结果比现有方法好。
- 流形上的变分贝叶斯
本文将 VB 方法的范围扩展到 Riemann 流形的情况,开发了一种基于流形的 VB 算法,对概率分布进行逼近。所提出的算法在数值实验中表现稳定,较现有 VB 方法更具优势。
- AAAI在费舍尔信息度量下的对抗攻击与检测
本文利用信息几何,提出了一种基于 Fisher 信息和一步谱攻击 (OSSA) 的深度学习模型易遭受对抗攻击的合理解释,并提出了具有较高效率和性能的对抗攻击和检测算法,这为研究对抗攻击和防御提供了一种有前途的途径。
- 信息几何学初步介绍
本文介绍信息流形的基本微分几何结构,论述信息几何的基本定理,并举例说明信息流形在信息科学中的应用。
- NIPS张量的 Legendre 分解
介绍一种新的非负张量分解方法 --Legendre 分解,借助信息几何学理论,重建的张量是唯一且始终最小化与输入张量的 KL 散度,实验表明,Legendre 分解可以比其他非负张量分解方法更准确地重构张量。
- AAAI贝叶斯推断的黎曼斯坦变分梯度下降
开发了一种称为 Riemannian Stein Variational Gradient Descent (RSVGD) 的贝叶斯推断方法,将 Stein Variational Gradient Descent (SVGD) 推广到 R - 深度神经网络的生物启发式防卫对抗攻击技术
应用生物物理学原理进行非线性计算后,我们开发了一种方案来训练深度神经网络以使它们对抗性攻击具有强鲁棒性。该方案生成高度非线性,饱和的神经网络,即使在没有遭受敌对的选择性训练样本的情况下,在 MNIST 上也实现了状态的最先进表现。
- 指数凸函数与一种新的信息几何
本文通过信息几何和最优传输的工具,展示了指数凹面函数的梯度映射提供了 Monge-Kantorovich 最优传输问题的解决方案,并给出了比普通凹函数更好的梯度逼近的逼近误差 L - 离散度。此外,通过拉格朗日积分作用下的位移插值,证明了动 - 信息几何学基础
本文介绍了概率分布之间的距离及信息几何的基本思想,探索了概率分布可区分性的定量度量方法。
- 基于信息几何的即插即用 P300 脑机接口技术
本文介绍了一种基于信息几何框架的事件相关电位(ERP)分类方法,通过对协方差矩阵的新估计来扩展已有的黎曼几何应用范围,该方法在性能、数据需求以及跨会话、主体泛化方面均有所提高,并以基于 P300 的脑控游戏 Brain Invaders 的 - 镜像下降的信息几何
通过 Bregman 分歧诱导的镜像下降是双重黎曼流形上的自然梯度下降算法,使用对数似然损失的镜像下降在指数族参数估计中渐近地达到了经典的 Cramer-Rao 下限,指数族对应的流形的自然梯度下降可以通过镜像下降实现一阶方法。
- CMA-ES 的信息几何学视角下的理论基础
本文从信息几何的角度探讨了协方差矩阵自适应进化策略(CMA-ES)的理论基础,并得出一些关键性的结论,包括 CMA-ES 中抽样分布参数的更新与期望适应性的自然梯度学习等存在密切联系。
- 推断确定性因果关系
对于两个变量间的因果关系推断,我们提出了一种新的方法,即在确定性(无噪声)情况下,利用函数的非对称性以及它和因变量的概率密度的独立性进行推断。我们还将其与信息几何联系在一起,在不同领域的实际数据集上获得了强有力的实证结果。