先验数据拟合网络的统计基础
本文介绍了 Prior-Data Fitted Networks (PFN) 方法,该方法利用大规模机器学习技术来逼近大量的后验概率。PFN 的目标是将后验逼近问题表述为带有集合值输入的监督分类问题,并展示了在多种不同领域的强大效果。
Dec, 2021
该论文介绍了如何利用 Prior-data Fitted Networks (PFNs) 在贝叶斯优化中作为一种灵活的代理模型,并演示了 PFN 在人工高斯过程和超参数优化测试方面的效用。
May, 2023
给定一种预先训练的 TabPFN 对于表格数据,如何将标注的训练样本进行摘要以便输入模型是最佳的方法?我们对 TabPFN 进行了定购和特征选择方法的初步研究,并注意到它与传统拟合表格模型之间的某些关键差异。
Nov, 2023
由于先验拟合网络(PFN)在低数据环境中展示出的极具潜力的结果,我们提出了一种适用于 TabPFN 的解释性方法,通过利用该模型的独特性质,我们的适应方法能更高效地计算 Shapley 值的估计以及在处理大规模 Transformer 时使用 Leave-One-Covariate-Out。此外,我们还展示了如何利用数据估值方法来解决 TabPFN 的可扩展性挑战。
Mar, 2024
本研究论文通过利用先验数据拟合的神经网络模型(PFN),将贝叶斯推断应用于学习曲线外推,实现更准确且高效的后验预测分布,并展示了该模型在模型选择中的潜在应用,证明基于 LC-PFN 的预测性提前停止准则在 45 个数据集上可以实现 2-6 倍的加速且几乎没有额外的开销。
Oct, 2023
通过开发上下文优化技术,我们提出了一种名为 TuneTables 的新型提示调整策略,将大数据集压缩成较小的学习上下文,从而显著提高了 PFN 的性能,并在较大数据集上与最先进的表格分类方法具有竞争力,同时推断时间大幅降低。此外,我们展示了 TuneTables 作为一种可解释性工具的应用,并通过优化公正目标来减轻偏见问题。
Feb, 2024
该研究提出了一种名为 Prior Networks(PNs)的框架来模型化分类任务中的数据和分布不确定性,并在 MNIST 数据集上实现了对 OOD 样本的识别和误分类的检测,与之前的方法相比,PNs 具有更好的表现。
Feb, 2018
本研究提出了一种名为 ForecastPFN 的零样本预测模型,通过对一种新型合成数据分布进行训练,实现对新的时间序列数据集的快速准确预测,并证明其在准确性和速度上优于现有的预测方法。
Nov, 2023
本文介绍了一种新的可交换随机过程 —— 函数神经过程(FNPs),它们通过学习数据集中点的潜在表示的依赖关系图,对函数分布进行建模。作者在不明确设定潜在全局参数的先验分布的情况下,采用了对给定数据集的关系结构的先验分布来定义贝叶斯模型,并通过小批量优化提高了可扩展性。作者还展示了如何通过后验预测分布对新点进行预测,并在玩具回归和图像分类任务上实验评估了 FNPs,证明了相比采用全局潜在参数的基准模型,FNPs 不仅提供了竞争性的预测性能,而且更具鲁棒性的不确定性估计。
Jun, 2019
通过构建数据过滤网络,该论文研究了大训练集上数据筛选的问题,并基于该网络构建了新的图像 - 文本数据集,为状态 - of-the-art 模型训练提供了高性能数据集,同时还释放了可从公开数据从头训练高性能数据过滤网络的新的 200 亿样本数据集,以促进数据集设计的进一步研究。
Sep, 2023