使用神经网络检测摊余贝叶斯推断中的模型错误：一项扩展研究

Jun, 2024

使用神经网络检测摊余贝叶斯推断中的模型错误：一项扩展研究

Detecting Model Misspecification in Amortized Bayesian Inference with Neural Networks: An Extended Investigation

Marvin Schmitt, Paul-Christian Bürkner, Ullrich Köthe, Stefan T. Radev

TL;DR在模拟基础推理中，我们研究了模拟程序不准确表示真实系统行为对推理结果的影响，并提出了一种能够可靠检测模型错误规范性的新度量标准。实验证明，这个度量标准对于警示用户可疑输出、当预测结果不可靠时发出警告，并引导模型设计者寻找更好的模拟器具有很大的实用性。

Abstract

Recent advances in probabilistic deep learning enable efficient amortized Bayesian inference in settings where the likelihood function is only implicitly defined by a simulation program (simulation-based inference

probabilistic deep learning simulation-based inference model misspecification neural posterior approximators misspecification measure

发现论文，激发创造

基于模型错误假定的仿真推断鲁棒统计学习

提出了一种通过惩罚那些增加数据和模型之间不匹配度的统计量的正则化损失函数作为一般性方法来处理模型错误规范问题，从而在 SBI 过程中获取稳健的推断结果。

May, 2023

基于摊还的贝叶斯决策模拟建模

该研究利用基于仿真的推断方法解决了如何在随机模拟器上进行贝叶斯决策，并且通过训练神经网络预测期望成本，以推断具有最低成本的行动。

Dec, 2023

利用可微的覆盖概率校准神经仿真推断

引入校准项到神经模型的训练目标中，通过放松经典校准误差公式，我们提出了一种方法来解决现有算法对后验不确定性估计准确性的挑战，该方法适用于现有计算流程，实现可靠的黑盒后验推断，并在六个基准问题上经验证明具有竞争性或更好的结果。

Oct, 2023

敏感度感知的摊还贝叶斯推断

我们提出了一种综合多角度的方法，将敏感性分析集成到摊销的贝叶斯推理中，并在应用建模问题中展示了其有效性。

Oct, 2023

通过摊销费用估算实现科学模拟器的一般化贝叶斯推断

本研究提出了一种基于神经网络的 ACE 方法，通过代替可能过于严格的贝叶斯后验分布，使用适应数据的成本函数来进行科学模拟器的仿真推断，从而同时减少了计算成本和提高了精度。

May, 2023

贝叶斯神经网络在宇宙学中的鲁棒性基于仿真的推断

使用贝叶斯神经网络框架进行 SBI 的训练，涉及宇宙微波背景的推断，并引入 cosmoSWAG 以缓解数据迁移问题。

Jul, 2022

模型错误下的条件独立性检验

在现代统计学和机器学习中，条件独立性检验是基础性且具有挑战性的。许多现代的条件独立性检验方法依赖于强大的监督学习方法，在学习回归函数或贝叶斯预测器时作为一种中间步骤。然而，当监督学习方法由于模型错误估计导致失败时，这些方法的行为了解还很有限。在更广义上，即使使用通用逼近器（如深度神经网络），模型错误估计仍然可能产生。因此，我们研究了基于回归的条件独立性测试在模型错误估计下的性能。具体地，我们提出了三个基于回归的测试的测试误差的新近似值或上界，这些误差依赖于模型错误估计。此外，我们引入了一种新的基于回归的条件独立性测试方法，即 Rao-Blackwellized 预测器测试（RBPT），该方法对模型错误估计具有鲁棒性。最后，我们使用人工数据和真实数据进行实验证明了我们的理论和方法的有用性。

Jul, 2023

通过数据驱动校准解决模拟推断中的错误规范

通过引入鲁棒后验估计 (ROPE)，克服了模型错误配置，ROPE 在真实世界校准集的基础上提供了具有可控平衡的校准不确定性和信息丰富的推断，通过解决真实观测和模拟观测之间的最优运输问题确保了模拟基于推理的可靠性。

May, 2024

高效、准确、轻量级的基于高斯局部线性映射的连续仿真推理

使用结构化概率分布的混合模型，提供了逼真的后验推断，相较于基于神经网络的仿真推断方法，在计算上具有更小的足迹，对于具有复杂模型和难以计算的似然函数的贝叶斯推断提供了一个可行的选择。

Mar, 2024

基于模拟的一体化推论

通过使用模型模拟，摊销贝叶斯推理训练神经网络以解决随机推理问题，从而实现对新观察到的任何数据的快速贝叶斯推理。我们提出了一种新的摊销推理方法 ——Simformer，通过训练具有变压器架构的概率扩散模型，克服了当前模拟为基础的摊销推理方法的局限性，且在基准任务上优于当前最先进的摊销推理方法，具有更大的灵活性，可以应用于具有函数值参数的模型，处理具有缺失或非结构化数据的推理场景，并能够采样参数和数据的任意条件联合分布，包括后验和似然函数。我们展示了 Simformer 在生态学、流行病学和神经科学的模拟器上的性能和灵活性，并证明它为基于模拟的模型上的摊销贝叶斯推理打开了新的可能性和应用领域。

Apr, 2024