May, 2018

顺序神经似然性：利用自回归流进行快速无似然推断

PDF
TL;DR本研究提出了顺序神经可能性方法（SNL），这是一种用于贝叶斯推断的新方法，适用于具有难以计算可能性的模拟器模型，其中可以从模型中模拟数据。SNL 在模拟数据上训练自回归流，以学习高后验密度区域可能性的模型。该论文表明，相对于相关的基于神经网络方法，SNL 更加健壮，更准确并且需要较少的调整，并且讨论了用于评估校准，收敛和拟合优度的诊断方法。
发现论文，激发创造
  • 基于模拟推理的循序神经似然估计方法

    通过 Surjective Sequential Neural Likelihood（SSNL）估计，我们提出了一种新的方法，用于在评估似然函数不可行且仅可使用生成合成数据的模拟器的模型中进行基于模拟的推断。SSNL 采用一个降维的满射标准化流模型并将其用作替代似然函数，通过嵌入数据在低维空间中，解决了先前基于似然函数的方法在应用于高维数据集时遇到的问题。我们评估了 SSNL 在各种实验中的表现，并表明它通常优于在基于模拟的推断中使用的现代方法，比如在一个来自天体物理学的挑战性实际例子中，该例子使用太阳动力学模型来建模太阳的磁场强度。

    Aug, 2023

  • 一种高效的基于顺序神经后验估计的无似然贝叶斯推断方法

    SNPE-B 是一种用于模拟为基础模型的顺序神经后验估计技术，本文提出了改进的方法，包括使用自适应校准核的集中损失函数和方差降低技术，以提高数据效率并加快学习过程。实验结果表明，我们的方法在某些任务上表现优于原始方法和其他竞争方法。

    Nov, 2023

  • NFLikelihood：基于归一化流的无监督 DNNLikelihood

    我们提出了 NFLikelihood，这是一种基于 Normalizing Flows 的无监督版本的 DNNLikelihood，通过现实例子展示了基于仿射和有理二次样条双射的自回归流如何学习出现在高能物理分析中的复杂高维似然。我们聚焦于一个已经存在于文献中的玩具 LHC 分析例子以及两个有效场论拟合的味道和电弱观测量，这些样本是通过 HEPFit 代码获得的。我们讨论了无监督方法相对于有监督方法的优缺点，并讨论了两者之间的可能相互作用。

    Sep, 2023

  • 高效、准确、轻量级的基于高斯局部线性映射的连续仿真推理

    使用结构化概率分布的混合模型，提供了逼真的后验推断，相较于基于神经网络的仿真推断方法，在计算上具有更小的足迹，对于具有复杂模型和难以计算的似然函数的贝叶斯推断提供了一个可行的选择。

    Mar, 2024

  • 自动后验转换用于无似然推断

    提出了一种新的基于神经网络的自适应后验变换方法，APT 可以用任意动态更新的提议来修改后验估计，采用流形密度估计器，具有更高的灵活性、可伸缩性和效率，并能直接处理高维时间序列和图像数据，并可开展无似然推断。

    May, 2019

  • FlowSeq：基于生成流的非自回归条件序列生成

    提出一种使用生成流的非自回归序列生成模型，以提高非自回归序列生成的效率。在三个神经机器翻译基准数据集上进行了评估，与最先进的非自回归神经机器翻译模型性能相当且几乎不随序列长度而变化。

    Sep, 2019

  • PixelSNAIL: 一种改进的自回归生成模型

    本文介绍了一种将因果卷积与自注意力相结合的新型生成模型，将其应用于密度估计任务，并在 CIFAR-10 和 ImageNet 上取得了最先进的结果。

    Dec, 2017

  • 隐含 HMM 的神经有效样本似然自由贝叶斯推断

    提出了一种新的、样本高效的无似然推断方法，用于估计隐式隐藏状态的高维度后验分布，通过利用马尔可夫性质，直接学习不可行的隐藏状态的后验分布，其在评估隐式 HMM 时，估计结果的质量与使用计算成本更高的 SMC 算法相当。

    May, 2024

  • 具有随机层的序列神经模型

    本文介绍了一种新的神经网络模型 —— 随机循环神经网络，该模型能高效地传播潜在状态的不确定性来构建序列神经生成模型，并在语音和音乐建模方面取得了比同类方法更好的结果。

    May, 2016

  • 神经样条流

    本文介绍基于单调分段函数有理二次样条的神经模型流，在保持解析可逆性的同时提高了耦合和自回归变换的灵活性，并展示了神经样条流在密度估计、变分推断和图像生成建模中的相对表现优良。

    Jun, 2019