- 高效多模态无导数贝叶斯推断与 Fisher-Rao 梯度流
本文研究了精确抽样问题,特别关注涉及贝叶斯推断中的大规模逆问题的科学和工程应用。通过引入基于 Fisher-Rao 梯度流的动力学系统,提出了一种处理贝叶斯推断中的计算挑战的方法,并应用高斯混合逼近和 Kalman 方法以解决多模态分布的问 - 机械领域中解决反问题的条件评分扩散模型
我们提出了一个框架,使用条件分数扩散模型执行贝叶斯推理来解决机械学中涉及由加载的噪声测量推断出具有空间变化的材料属性的一类反问题。
- 领域无关条件不变预测
通过基于判别风险最小化理论和算法的不变特征捕获来解决领域泛化中没有领域标签的挑战,通过测试真实数据集验证了该方法的有效性。
- 通过深度生成图像先验在不同假设下对 M87 * 进行事件视界尺度成像
以事件视界望远镜(EHT)对 M87 星系中心的超大质量黑洞 M87 * 的观测为基础,通过引入不同偏好的先验知识,采用贝叶斯推断和基于评分的先验方法,灵活地设计了一系列先验规则用于图像重建,并评估了重建图像的视觉特征和不确定性在先验选择方 - ICML大型语言模型中的上下文学习是否贝叶斯?一种鞅的视角
在这项工作中,我们通过鞅属性从一个新的角度分析了大语言模型(LLM)的背景学习(ICL)是否可以视为贝叶斯推断。我们提出了鞅属性作为满足交换数据的贝叶斯学习系统的基本要求,并且证明了它在可信的、安全关键系统中具有重要性,可以提供一个有原则的 - 结构噪声下带钉子的矩阵模型的信息限制与 Thouless-Anderson-Palmer 方程
本文主要研究了贝叶斯推断中结构化尖峰模型的一个典型问题:低秩信号被加性噪声所污染。通过使用统计物理和随机矩阵理论的工具,我们建立了从一个通用迹集合中绘制的噪声矩阵的信息理论限制的第一个表征,并通过启发自自适应 Thoulless-Ander - 深度弱非线性网络的贝叶斯推断
在大量训练数据、输入维度、网络层宽度和网络深度同时很大的情况下,我们展示了贝叶斯推断与全连接神经网络和形状非线性的关系,并提供了计算模型证据和后验的技术,结果表明神经网络贝叶斯推断与使用核函数的贝叶斯推断相一致,当网络层宽度大于深度和训练集 - 基于异质数据的平板弯曲随机推断:基于基尔霍夫 - 洛夫理论的物理启发高斯过程
提出了一种通过物理信息引导的高斯过程将机械模型与概率模型相结合的方法,用于确定结构的状态并量化其物理参数和响应的不确定性。通过在偏转上放置高斯过程先验,并使用板块控制方程的线性微分算子推导协方差函数,构建了多输出高斯过程的概率模型。通过从噪 - 宇宙学基于似然的推断的未来:加速高维参数估计和模型比较
我们倡导一种新的宇宙学基于概率的推断范式,利用最近在机器学习及其底层技术中的发展,加速在高维环境中的贝叶斯推断。具体来说,我们结合了(i)模拟 —— 其中训练一个机器学习模型来模仿宇宙观测量,例如 CosmoPower-JAX;(ii)可导 - 利用机器学习模型加速多层级马尔可夫链蒙特卡洛
利用多层次马尔可夫链蒙特卡洛 (MCMC) 抽样算法的低保真机器学习模型,本文提出了一种有效的方法来加速大规模问题的抽样。通过在层次结构框架中将高保真模型与低保真模型相结合,我们的方法提供了一种计算高效的替代方案,以改善样本的接受率。我们的 - 基于贝叶斯预测的推断
基于有限的人工标记数据,预测引导推理(PPI)方法可以提高统计估计。我们提出了一个基于贝叶斯推理的 PPI 框架,可以方便地开发新的任务适用的 PPI 方法,包括针对离散回答和非线性评分的 autoraters 的改进方法。
- 深度学习与遗传算法用于宇宙贝叶斯推断加速
本文提出了一种新颖的方法来加速贝叶斯推断过程,特别关注嵌套取样算法。
- ICML超越协助和无害性:通过人物内文学习从大型语言模型中引发多样行为
大规模语言模型在大量文本语料库上进行训练,这些文本语料库编码了各种个性特质。本文提出了一种新的基于贝叶斯推断的个性提取框架 PICLe,旨在使语言模型的行为与目标个性相一致。通过与基准方法在三个当代语言模型上进行广泛比较,我们证明了 PIC - 深度学习时代的可扩展贝叶斯推断:从高斯过程到深度神经网络
本论文介绍了一种将大型神经网络装备上模型的不确定性的方法,并应用了这个方法在 ResNet-50 和深度图像先验网络上进行了实验。
- BIRD:大型语言模型的可信贝叶斯推理框架
本文提出了一个名为 BIRD 的贝叶斯推理框架,该框架针对大型语言模型提供了可控和可解释的概率估计,通过加入反推因素、LLM 蕴含和可学习的推导贝叶斯建模。实验表明,使用开源的 Llama 模型,BIRD 的概率估计与人类判断的一致率达到了 - 将语言模型与人类偏好对齐
在本研究论文中,作者通过探索多种方法来与人类偏好对齐语言模型,包括基于贝叶斯推理的方法、基于反馈的加强学习和分布匹配等,从而展现了与强化学习反馈不同且互补的对齐技术的潜力。
- 在科学机器学习中利用粘性 Hamilton-Jacobi 偏微分方程进行不确定性量化
科学机器学习中的不确定性量化(UQ)与可靠性建模方法相结合,我们提供了一种新的对 UQ 问题的解释,通过建立科学机器学习中产生的贝叶斯推断问题与粘性哈密顿 - 杰克比偏微分方程的新理论联系,我们展示了通过粘性哈密顿 - 杰克比偏微分方程的空 - 划分、攻克、融合贝叶斯决策树采样
该研究使用贝叶斯推断方法来量化决策树预测的不确定性。通过 DCC-Tree 方法,与其他贝叶斯树方法相比,在一致性和降低每个建议的复杂性的同时,表现相媲美其他基于 HMC 的方法。
- 高效、准确、轻量级的基于高斯局部线性映射的连续仿真推理
使用结构化概率分布的混合模型,提供了逼真的后验推断,相较于基于神经网络的仿真推断方法,在计算上具有更小的足迹,对于具有复杂模型和难以计算的似然函数的贝叶斯推断提供了一个可行的选择。
- 训练的神经网络中低成本的不确定性的预测刚度形式化
基于约束优化问题的解决方案,我们提出 “预测刚性” 作为一种获取任意预训练回归器的不确定性的方法,并建立了我们的框架与贝叶斯推理之间的强连接。我们还开发了一种最后一层逼近,使得这种方法可以应用于神经网络,并且不需要对神经网络本身或其训练过程