Oct, 2023

使用先验 - 数据拟合网络实现高效贝叶斯学习曲线外推

PDF
TL;DR本研究论文通过利用先验数据拟合的神经网络模型（PFN），将贝叶斯推断应用于学习曲线外推，实现更准确且高效的后验预测分布，并展示了该模型在模型选择中的潜在应用，证明基于 LC-PFN 的预测性提前停止准则在 45 个数据集上可以实现 2-6 倍的加速且几乎没有额外的开销。
learning curve extrapolationprior-data fitted neural networksposterior predictive distributionmodel selectionpredictive early stopping criterion
发现论文，激发创造
  • Transformer 可以进行贝叶斯推断

    本文介绍了 Prior-Data Fitted Networks (PFN) 方法，该方法利用大规模机器学习技术来逼近大量的后验概率。PFN 的目标是将后验逼近问题表述为带有集合值输入的监督分类问题，并展示了在多种不同领域的强大效果。

    Dec, 2021

  • 先验数据拟合网络的统计基础

    该研究论文探讨了先验数据拟合网络（PFN）的理论基础，以及控制其行为的统计机制。虽然 PFN 是受贝叶斯思想启发的，但其行为可以纯粹地以预调整但未经训练的预测器来解释。

    May, 2023

  • PFNs 是现实世界贝叶斯优化的灵活模型

    该论文介绍了如何利用 Prior-data Fitted Networks (PFNs) 在贝叶斯优化中作为一种灵活的代理模型，并演示了 PFN 在人工高斯过程和超参数优化测试方面的效用。

    May, 2023

  • 可解释的 TabPFN 机器学习

    由于先验拟合网络（PFN）在低数据环境中展示出的极具潜力的结果，我们提出了一种适用于 TabPFN 的解释性方法，通过利用该模型的独特性质，我们的适应方法能更高效地计算 Shapley 值的估计以及在处理大规模 Transformer 时使用 Leave-One-Covariate-Out。此外，我们还展示了如何利用数据估值方法来解决 TabPFN 的可扩展性挑战。

    Mar, 2024

  • 理解和减轻物理启发神经网络中的外推失败

    该研究详细调查了基于 PINNs 的外推行为，并提供了证据，通过分析解函数的傅里叶谱，表征了产生有利外推行为的 PDE，并展示了一种基于转移学习的策略，可将 PINNs 的外推误差降低高达 82％。

    Jun, 2023

  • DPM: 一种用于物理信息神经网络在外推方面的新型训练方法

    提出了一种基于神经网络物理学的方法来学习复杂物理过程的动态学习，用于时间上的超出训练范围外的解决方案的外推，并使用新的改进 PINN，可以在时间上精确地外推解决方案。

    Dec, 2020

  • 为表格先验数据拟合网络缩放的草图和特征选择

    给定一种预先训练的 TabPFN 对于表格数据，如何将标注的训练样本进行摘要以便输入模型是最佳的方法？我们对 TabPFN 进行了定购和特征选择方法的初步研究，并注意到它与传统拟合表格模型之间的某些关键差异。

    Nov, 2023

  • 非先验条件下，野外未标记数据的持续学习

    基于固定的单头结构，通过消除任务标识选择任务特定的输出头，结合基于正则化的策略和辅助无标签数据集来提高模型一致性，以及可靠的样本选择策略，我们的无先验连续学习（PFCL）方法在三种学习情景中显著减少遗忘现象，且与有限个先前样本重新训练的方法相比，PFCL 取得了有竞争力的准确率。

    Oct, 2023

  • 神经网络如何外推：从前馈到图神经网络

    研究使用梯度下降训练的神经网络如何外推，即他们在训练分布的支持外学习了什么。沿着这条线，作者发现了多层感知器和图神经网络的外推条件，并提供了理论和实证依据来解释图神经网络在算法任务的外推成功。

    Sep, 2020

  • 利用先验网络进行预测不确定性估计

    该研究提出了一种名为 Prior Networks（PNs）的框架来模型化分类任务中的数据和分布不确定性，并在 MNIST 数据集上实现了对 OOD 样本的识别和误分类的检测，与之前的方法相比，PNs 具有更好的表现。

    Feb, 2018