Mar, 2024

可解释的 TabPFN 机器学习

PDF
TL;DR由于先验拟合网络（PFN）在低数据环境中展示出的极具潜力的结果，我们提出了一种适用于 TabPFN 的解释性方法，通过利用该模型的独特性质，我们的适应方法能更高效地计算 Shapley 值的估计以及在处理大规模 Transformer 时使用 Leave-One-Covariate-Out。此外，我们还展示了如何利用数据估值方法来解决 TabPFN 的可扩展性挑战。
prior-data fitted networkstabpfninterpretability methodsshapley valuesdata valuation methods
发现论文，激发创造
  • TabPFN: 一种在一秒内解决小型表格分类问题的 Transformer

    TabPFN 是一个训练有素的 Transformer，可对小型表格数据集进行监督分类，无需调整超参数，并且在与最先进的分类方法竞争中具有竞争力，它彻底包含在我们网络的权重中，并接受训练和测试样本以及一系列值输入，并在单个前向传递中为整个测试集产生预测，其先验扩展了因果推理的一些想法，适用于预测与给定输入和输出相关的结构因果模型。

    Jul, 2022

  • TuneTables: 面向可扩展先验数据拟合网络的上下文优化

    通过开发上下文优化技术，我们提出了一种名为 TuneTables 的新型提示调整策略，将大数据集压缩成较小的学习上下文，从而显著提高了 PFN 的性能，并在较大数据集上与最先进的表格分类方法具有竞争力，同时推断时间大幅降低。此外，我们展示了 TuneTables 作为一种可解释性工具的应用，并通过优化公正目标来减轻偏见问题。

    Feb, 2024

  • 为表格先验数据拟合网络缩放的草图和特征选择

    给定一种预先训练的 TabPFN 对于表格数据，如何将标注的训练样本进行摘要以便输入模型是最佳的方法？我们对 TabPFN 进行了定购和特征选择方法的初步研究，并注意到它与传统拟合表格模型之间的某些关键差异。

    Nov, 2023

  • 检索与微调的上下文表格模型

    基于表格数据的局部校准 PFN 模型，在 TabZilla 的 95 个数据集上，提供了改进的性能，从而展示了我们方法对于深度学习在表格数据中的前沿研究所取得的有效性。

    Jun, 2024

  • 使用 TabPFN 进行上下文数据蒸馏

    TabPFN 通过采用 in-context data distillation 方法，优化了原有模型的上下文效果，使其能够处理大规模数据集，从而在 48 个大型表格数据集上展示了比基于树模型和现代深度学习方法更强的性能。

    Feb, 2024

  • 基于 FT-TABPFN 模型的表格分类的标记化特征增强

    传统的表格分类方法通常依赖于从头开始的有监督学习，需要大量训练数据来确定模型参数。然而，一种名为 Prior-Data Fitted Networks（TabPFN）的新方法改变了这一范式。TabPFN 使用在大型合成数据集上进行训练的 12 层变压器来学习通用的表格表示。这种方法能够通过单次前向传递快速和准确地对新任务进行预测，且无需额外的训练。虽然 TabPFN 在小型数据集上表现出色，但处理分类特征时通常表现较弱。为了克服这一限制，我们提出了 FT-TabPFN，它是 TabPFN 的增强版本，包括了一种新颖的特征标记化层来更好地处理分类特征。通过针对下游任务进行微调，FT-TabPFN 不仅扩展了原始模型的功能，而且在表格分类中显著提高了其适用性和准确性。我们的完整源代码可供社区使用和开发。

    Jun, 2024

  • 先验数据拟合网络的统计基础

    该研究论文探讨了先验数据拟合网络（PFN）的理论基础，以及控制其行为的统计机制。虽然 PFN 是受贝叶斯思想启发的，但其行为可以纯粹地以预调整但未经训练的预测器来解释。

    May, 2023

  • TabPFGen -- 使用 TabPFN 的表格数据生成

    通过将 TabPFN 转化为基于能量的生成模型 TabPFGen，利用其在上下文判别表格任务中的学习能力，我们在标准生成建模任务中展示出了强大的结果，包括数据增强、类别平衡和数据插补，从而开启了表格数据生成的新领域。

    Jun, 2024

  • Transformer 可以进行贝叶斯推断

    本文介绍了 Prior-Data Fitted Networks (PFN) 方法，该方法利用大规模机器学习技术来逼近大量的后验概率。PFN 的目标是将后验逼近问题表述为带有集合值输入的监督分类问题，并展示了在多种不同领域的强大效果。

    Dec, 2021

  • 为什么上下文学习转换器是表格数据分类器

    通过对合成数据进行预训练的 ICL-transformer 在创建复杂的决策边界方面具有优势，并且在表格数据分类上达到了最新的技术水平。

    May, 2024