Transformer 可以进行贝叶斯推断

ICLRDec, 2021

Transformers Can Do Bayesian Inference

Samuel Müller, Noah Hollmann, Sebastian Pineda Arango, Josif Grabocka, Frank Hutter

TL;DR本文介绍了 Prior-Data Fitted Networks (PFN) 方法，该方法利用大规模机器学习技术来逼近大量的后验概率。PFN 的目标是将后验逼近问题表述为带有集合值输入的监督分类问题，并展示了在多种不同领域的强大效果。

Abstract

Currently, it is hard to reap the benefits of deep learning for Bayesian methods, which allow the explicit specification of prior knowledge and accurately capture model uncertainty. We present prior-data fitted networks

deep learning bayesian methods prior-data fitted networks supervised learning bayesian inference

发现论文，激发创造

先验数据拟合网络的统计基础

该研究论文探讨了先验数据拟合网络（PFN）的理论基础，以及控制其行为的统计机制。虽然 PFN 是受贝叶斯思想启发的，但其行为可以纯粹地以预调整但未经训练的预测器来解释。

May, 2023

PFNs 是现实世界贝叶斯优化的灵活模型

该论文介绍了如何利用 Prior-data Fitted Networks (PFNs) 在贝叶斯优化中作为一种灵活的代理模型，并演示了 PFN 在人工高斯过程和超参数优化测试方面的效用。

May, 2023

可解释的 TabPFN 机器学习

由于先验拟合网络（PFN）在低数据环境中展示出的极具潜力的结果，我们提出了一种适用于 TabPFN 的解释性方法，通过利用该模型的独特性质，我们的适应方法能更高效地计算 Shapley 值的估计以及在处理大规模 Transformer 时使用 Leave-One-Covariate-Out。此外，我们还展示了如何利用数据估值方法来解决 TabPFN 的可扩展性挑战。

Mar, 2024

使用先验 - 数据拟合网络实现高效贝叶斯学习曲线外推

本研究论文通过利用先验数据拟合的神经网络模型（PFN），将贝叶斯推断应用于学习曲线外推，实现更准确且高效的后验预测分布，并展示了该模型在模型选择中的潜在应用，证明基于 LC-PFN 的预测性提前停止准则在 45 个数据集上可以实现 2-6 倍的加速且几乎没有额外的开销。

Oct, 2023

贝叶斯深度学习只需要一个好的函数先验

本文为解决 Bayesian 深度学习中的先验分布选择困难性问题，提出了一种基于 Gaussian processes 的新颖的功能先验分布匹配框架，该框架可通过 Markov chain Monte Carlo 方法进行可扩展的先验分布采样，从而显著提高了性能。

Nov, 2020

为表格先验数据拟合网络缩放的草图和特征选择

给定一种预先训练的 TabPFN 对于表格数据，如何将标注的训练样本进行摘要以便输入模型是最佳的方法？我们对 TabPFN 进行了定购和特征选择方法的初步研究，并注意到它与传统拟合表格模型之间的某些关键差异。

Nov, 2023

近似推断将深度网络转化为高斯过程

本文研究神经网络和高斯过程之间的关系，证明了贝叶斯神经网络的高斯后验近似等同于高斯过程的后验。在训练神经网络时，利用高斯过程的边缘似然函数来调整神经网络的超参数，得到的核函数是神经切向核。我们的工作旨在促进进一步将神经网络和高斯过程在实际应用中相结合的研究。

Jun, 2019

条件神经过程

本文提出了一系列的神经模型 CNPs，结合了深度神经网络和高斯过程两种方法，旨在对给定数据集做出精确预测。

Jul, 2018

深度神经网络作为高斯过程

本文研究无限宽深层神经网络和高斯过程的等价性，提出一种计算高斯过程协方差函数的有效方法，并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断，在网络宽度增加时，训练神经网络的准确率和 GP 预测的不确定性分别增加，而有限宽度训练网络越接近 GP，测试性能越好，GP 预测通常优于有限宽度网络的预测，最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。

Nov, 2017

TabPFN: 一种在一秒内解决小型表格分类问题的 Transformer

TabPFN 是一个训练有素的 Transformer，可对小型表格数据集进行监督分类，无需调整超参数，并且在与最先进的分类方法竞争中具有竞争力，它彻底包含在我们网络的权重中，并接受训练和测试样本以及一系列值输入，并在单个前向传递中为整个测试集产生预测，其先验扩展了因果推理的一些想法，适用于预测与给定输入和输出相关的结构因果模型。

Jul, 2022