传统的表格分类方法通常依赖于从头开始的有监督学习，需要大量训练数据来确定模型参数。然而，一种名为 Prior-Data Fitted Networks（TabPFN）的新方法改变了这一范式。TabPFN 使用在大型合成数据集上进行训练的 12 层变压器来学习通用的表格表示。这种方法能够通过单次前向传递快速和准确地对新任务进行预测，且无需额外的训练。虽然 TabPFN 在小型数据集上表现出色，但处理分类特征时通常表现较弱。为了克服这一限制，我们提出了 FT-TabPFN，它是 TabPFN 的增强版本，包括了一种新颖的特征标记化层来更好地处理分类特征。通过针对下游任务进行微调，FT-TabPFN 不仅扩展了原始模型的功能，而且在表格分类中显著提高了其适用性和准确性。我们的完整源代码可供社区使用和开发。

Jun, 2024

该研究提出 MotherNets 来解决深度神经网络集成中的训练成本和模型多样性问题，并在减少训练成本和提高模型精度方面取得了新的 Pareto 前沿。

Sep, 2018

在网络安全的机器学习中，我们开发了 netFound 模型，通过预训练和微调来更好地捕捉隐藏的网络上下文，并在各种下游任务中展现出卓越的性能和适用性。

Oct, 2023

TabPFN 是一个训练有素的 Transformer，可对小型表格数据集进行监督分类，无需调整超参数，并且在与最先进的分类方法竞争中具有竞争力，它彻底包含在我们网络的权重中，并接受训练和测试样本以及一系列值输入，并在单个前向传递中为整个测试集产生预测，其先验扩展了因果推理的一些想法，适用于预测与给定输入和输出相关的结构因果模型。

Jul, 2022

本文提出了 Tabular Foundation Models (TabFMs)，通过在广泛的表格数据集上使用预训练的大型语言模型 (LLM) 并进行微调，实现了对表格数据具有深刻理解和普适能力的目标。TabFMs 在指导性任务（如零样本和上下文推理）方面具有显著优势，并且在某些情况下甚至超越了著名但神秘的闭源 LLMs，如 GPT-4。此外，当仅有有限的数据进行微调时，我们的模型表现出了出色的效率和竞争性表现。最后，我们也探讨了 TabFM 的局限性和潜在机会，旨在激发和促进未来开发更强大的 TabFMs 的研究。

Oct, 2023

由于先验拟合网络（PFN）在低数据环境中展示出的极具潜力的结果，我们提出了一种适用于 TabPFN 的解释性方法，通过利用该模型的独特性质，我们的适应方法能更高效地计算 Shapley 值的估计以及在处理大规模 Transformer 时使用 Leave-One-Covariate-Out。此外，我们还展示了如何利用数据估值方法来解决 TabPFN 的可扩展性挑战。

Mar, 2024

通过开发上下文优化技术，我们提出了一种名为 TuneTables 的新型提示调整策略，将大数据集压缩成较小的学习上下文，从而显著提高了 PFN 的性能，并在较大数据集上与最先进的表格分类方法具有竞争力，同时推断时间大幅降低。此外，我们展示了 TuneTables 作为一种可解释性工具的应用，并通过优化公正目标来减轻偏见问题。

Feb, 2024

该研究论文探讨了先验数据拟合网络（PFN）的理论基础，以及控制其行为的统计机制。虽然 PFN 是受贝叶斯思想启发的，但其行为可以纯粹地以预调整但未经训练的预测器来解释。

May, 2023

给定一种预先训练的 TabPFN 对于表格数据，如何将标注的训练样本进行摘要以便输入模型是最佳的方法？我们对 TabPFN 进行了定购和特征选择方法的初步研究，并注意到它与传统拟合表格模型之间的某些关键差异。

Nov, 2023

最近，在医学领域中，有几项研究报道了利用像推特和 PubMed 这样的在线数据来源中的图像对基础模型进行微调以进行图像 - 文本建模。基础模型是能够通过在非常广泛的数据集上训练来学习特定领域上下文的大型深度人工神经网络。通过验证，我们观察到，与显著较小的传统深度网络生成的表示相比，这些模型生成的表示在数字病理学的检索任务中表现出较差的性能。

Sep, 2023