深度学习与遗传算法用于宇宙贝叶斯推断加速
我们倡导一种新的宇宙学基于概率的推断范式，利用最近在机器学习及其底层技术中的发展，加速在高维环境中的贝叶斯推断。具体来说，我们结合了（i）模拟 —— 其中训练一个机器学习模型来模仿宇宙观测量，例如 CosmoPower-JAX；（ii）可导性和概率编程，例如 JAX 和 NumPyro；（iii）可伸缩的 MCMC 采样技术，可以利用梯度，例如哈密顿蒙特卡罗；以及（iv）解耦且可伸缩的贝叶斯模型选择技术，纯粹从后验样本计算贝叶斯证据，例如在 harmonic 中学到的调和均值。这一范式使我们能够在传统方法的一小部分时间内进行完整的贝叶斯分析，包括参数估计和模型选择。首先，我们在 37 - 维和 39 - 维参数空间中，通过模拟的宇宙剪切分析，展示了这种范式的应用，比较了 ΛCDM 模型和动力学暗能量模型（$w_0w_a$CDM）。我们的结果与传统的嵌套采样方法计算得到的后验轮廓和证据估计非常吻合，而且计算成本从需要 48 个 CPU 核心上的 8 个月时间减少到了使用 12 个 GPU 的 2 天时间。其次，我们考虑了三个模拟的下一代调查的联合分析，每个调查都进行了 3x2pt 分析，得到了 157 - 维和 159 - 维参数空间。在这种高维环境中，标准的嵌套采样技术根本不可行，需要在 48 个 CPU 核心上投入 12 年的计算时间。而另一方面，我们提出的方法只需要 24 个 GPU 的 8 天计算时间。我们在分析中使用的所有软件包都是公开可用的。
May, 2024
本论文介绍了一种将大型神经网络装备上模型的不确定性的方法，并应用了这个方法在 ResNet-50 和深度图像先验网络上进行了实验。
Apr, 2024
应用 GPU 加速、自动差分和神经网络引导重新参数化等新技术，我们研究了多维参数空间中的天体粒子物理实验结果，并将其性能与传统嵌套采样技术进行了对比，发现这些技术可以加速推理过程，提高模型比较性能。
May, 2024
本文探讨了应用于深度神经网络中的贝叶斯参数估计问题，提出了一种压缩 Monte Carlo 近似方法的新算法，与贝叶斯神经网络中的其他两种方法作了对比，证明了该算法不仅表现更优，而且更简单易于实现且测试所需运算资源更少。
Jun, 2015
深度神经网络的鲁棒性不确定性量化是许多深度学习应用的重要需求，贝叶斯神经网络是建模深度神经网络不确定性的一种有前景的方法，但从神经网络的后验分布中生成样本仍然是一个重大挑战。在本文中，我们展示了这些方法在采样分布时可能存在显著偏差，即使在步长趋近于零且批量大小足够大的情况下。
Mar, 2024
使用改进的 CNN 算法和基于峰值计数的易于理解方法，可以更好地估计弱引力透镜映射的余量参数和标准差，并提取更多的高阶统计信息，这在研究宇宙学和暗物质中非常有帮助。
Jun, 2018
该研究利用交换神经网络，实现了基于模拟数据的统计推断，旨在解决高维变量积分与数据置换不变性问题，取得了在重组热点测试问题上领先于现有技术的成果。
Feb, 2018
近年来，由于计算能力的提高和灵活性的增强，模拟模型在经济学中变得越来越普遍。本文提出了一种使用深度神经网络构建类似于似然函数的近似方法以进行贝叶斯估计的方法，用于解决传统频率学派估计方法难以解决的问题，并对其进行了检验。总的来说，我们发现我们提出的方法在金融异质代理模型的估计以及模型中变化动力学的识别等多种情境下，能够持续地获得更准确的估计结果。
Jun, 2019