Feb, 2024

TuneTables: 面向可扩展先验数据拟合网络的上下文优化

PDF
TL;DR通过开发上下文优化技术，我们提出了一种名为 TuneTables 的新型提示调整策略，将大数据集压缩成较小的学习上下文，从而显著提高了 PFN 的性能，并在较大数据集上与最先进的表格分类方法具有竞争力，同时推断时间大幅降低。此外，我们展示了 TuneTables 作为一种可解释性工具的应用，并通过优化公正目标来减轻偏见问题。
tabular classificationprior-data fitted networkstabpfntunetablesinterpretability tool
发现论文，激发创造
  • 为表格先验数据拟合网络缩放的草图和特征选择

    给定一种预先训练的 TabPFN 对于表格数据，如何将标注的训练样本进行摘要以便输入模型是最佳的方法？我们对 TabPFN 进行了定购和特征选择方法的初步研究，并注意到它与传统拟合表格模型之间的某些关键差异。

    Nov, 2023

  • 可解释的 TabPFN 机器学习

    由于先验拟合网络（PFN）在低数据环境中展示出的极具潜力的结果，我们提出了一种适用于 TabPFN 的解释性方法，通过利用该模型的独特性质，我们的适应方法能更高效地计算 Shapley 值的估计以及在处理大规模 Transformer 时使用 Leave-One-Covariate-Out。此外，我们还展示了如何利用数据估值方法来解决 TabPFN 的可扩展性挑战。

    Mar, 2024

  • 检索与微调的上下文表格模型

    基于表格数据的局部校准 PFN 模型，在 TabZilla 的 95 个数据集上，提供了改进的性能，从而展示了我们方法对于深度学习在表格数据中的前沿研究所取得的有效性。

    Jun, 2024

  • 基于 FT-TABPFN 模型的表格分类的标记化特征增强

    传统的表格分类方法通常依赖于从头开始的有监督学习，需要大量训练数据来确定模型参数。然而，一种名为 Prior-Data Fitted Networks（TabPFN）的新方法改变了这一范式。TabPFN 使用在大型合成数据集上进行训练的 12 层变压器来学习通用的表格表示。这种方法能够通过单次前向传递快速和准确地对新任务进行预测，且无需额外的训练。虽然 TabPFN 在小型数据集上表现出色，但处理分类特征时通常表现较弱。为了克服这一限制，我们提出了 FT-TabPFN，它是 TabPFN 的增强版本，包括了一种新颖的特征标记化层来更好地处理分类特征。通过针对下游任务进行微调，FT-TabPFN 不仅扩展了原始模型的功能，而且在表格分类中显著提高了其适用性和准确性。我们的完整源代码可供社区使用和开发。

    Jun, 2024

  • TabPFN: 一种在一秒内解决小型表格分类问题的 Transformer

    TabPFN 是一个训练有素的 Transformer，可对小型表格数据集进行监督分类，无需调整超参数，并且在与最先进的分类方法竞争中具有竞争力，它彻底包含在我们网络的权重中，并接受训练和测试样本以及一系列值输入，并在单个前向传递中为整个测试集产生预测，其先验扩展了因果推理的一些想法，适用于预测与给定输入和输出相关的结构因果模型。

    Jul, 2022

  • 使用 TabPFN 进行上下文数据蒸馏

    TabPFN 通过采用 in-context data distillation 方法，优化了原有模型的上下文效果，使其能够处理大规模数据集，从而在 48 个大型表格数据集上展示了比基于树模型和现代深度学习方法更强的性能。

    Feb, 2024

  • 先验数据拟合网络的统计基础

    该研究论文探讨了先验数据拟合网络（PFN）的理论基础，以及控制其行为的统计机制。虽然 PFN 是受贝叶斯思想启发的，但其行为可以纯粹地以预调整但未经训练的预测器来解释。

    May, 2023

  • 使用预训练语言模型建模表格数据

    通过引入预训练语言模型（PTM）和三个处理阶段（MT、MF、CF），提出了一种新的名为 PTab 的框架，以将预训练模型用于建模表格数据，并取得比现有技术更好的分类效果。

    Sep, 2022

  • TabPFGen -- 使用 TabPFN 的表格数据生成

    通过将 TabPFN 转化为基于能量的生成模型 TabPFGen，利用其在上下文判别表格任务中的学习能力，我们在标准生成建模任务中展示出了强大的结果，包括数据增强、类别平衡和数据插补，从而开启了表格数据生成的新领域。

    Jun, 2024

  • 参数化上下文：释放参数高效微调和上下文调整在连续表格语义解析中的能力

    本文介绍了一个用于训练连续表语义解析器的新方法，该方法整合了参数高效微调（PEFT）和上下文微调（ICT），通过冻结预训练模型骨干和微调小规模提示来完全避免灾难性遗忘，并且通过教师 - 学生框架解决了少样本学习问题，通过 ICT 获得上下文信息来演示几个训练样本，然后学生利用 PEFT 框架从教师的输出分布中学习，并将上下文信息压缩保存到提示中，消除了存储任何训练样本的需要。在两个基准测试中进行的实验评估确认了我们方法在各种度量标准上相对于常见的少样本和连续学习基准的优越性。

    Oct, 2023