Oct, 2023

面向表格数据学习的基础模型研究

PDF
TL;DR本文提出了 Tabular Foundation Models (TabFMs)，通过在广泛的表格数据集上使用预训练的大型语言模型 (LLM) 并进行微调，实现了对表格数据具有深刻理解和普适能力的目标。TabFMs 在指导性任务（如零样本和上下文推理）方面具有显著优势，并且在某些情况下甚至超越了著名但神秘的闭源 LLMs，如 GPT-4。此外，当仅有有限的数据进行微调时，我们的模型表现出了出色的效率和竞争性表现。最后，我们也探讨了 TabFM 的局限性和潜在机会，旨在激发和促进未来开发更强大的 TabFMs 的研究。
发现论文，激发创造
  • 使用预训练语言模型建模表格数据

    通过引入预训练语言模型（PTM）和三个处理阶段（MT、MF、CF），提出了一种新的名为 PTab 的框架，以将预训练模型用于建模表格数据，并取得比现有技术更好的分类效果。

    Sep, 2022

  • 通过联合迁移学习使基础模型根植于实际：一个通用框架

    使用联邦迁移学习来接地基础模型是当前学术界和工业界重要的研究方向，该研究论文介绍了一个联邦迁移学习框架，对最新的研究工作进行了详细分类和综述，提供了高效和隐私保护技术，并探讨了联邦迁移学习未来的机会和研究方向。

    Nov, 2023

  • 超越微调：从模型中学习的调查

    在基础模型的基础上，通过 Learn From Model 技术对模型进行调优、蒸馏和元学习等方面的研究，以提升基础模型的能力和性能，为未来的研究探索和解决待解决的问题提供参考。

    Oct, 2023

  • TabuLa: 利用语言模型进行表格数据合成

    通过提出 Tabula，使用语言模型结构的表格数据合成器，我们揭示了使用为自然语言处理设计的预训练语言模型在表格数据合成领域的内在局限性，并通过一种令人满意的基础模型开展了针对表格数据合成的专用基础模型的研发。此外，我们提出了一种令牌序列压缩策略，可显著减少训练时间同时保持合成数据的质量。实验证明，使用语言模型结构而不加载训练有素的模型权重可以获得更好的表格数据合成起始模型。此外，之前针对其他表格数据训练的 Tabula 模型可作为新的表格数据合成任务的优秀基础模型，而且该令牌序列压缩方法可大幅降低模型的训练时间。结果表明，Tabula 相较于当前基于 LLMs 的最先进算法而言，平均每个时期减少 46.2% 的训练时间，并始终获得更高的合成数据效用。

    Oct, 2023

  • 联邦基础模型：大型模型的隐私保护和协同学习

    本文介绍了一种结合了联邦学习和基础模型的隐私保存方法，即联邦基础模型，其中涉及该方法的不同方面和任务，以及与传统基础模型的比较和实验。

    May, 2023

  • AnyPredict: 表格预测的基础模型

    本文提出了一种使用数据引擎和语言模型制定训练数据的方法，以建立基于预训练模型（AnyPredict）的表格预测模型，该模型能够在领域内支持每个表格数据集而不需要微调，从而在 7 个患者结果预测数据集和 3 个试验结果预测数据集上表现出较高的性能表现。

    May, 2023

  • TransTab: 在表格间学习可迁移的表格变换器

    该研究论文提出了一种名为转移性表格变压器（TransTab）的新方法，该方法通过将表格中的每个样本（即行）转换为可推广的嵌入向量，然后应用堆叠的变压器进行特征编码，来学习来自多个表格的机器学习模型。该方法探讨了如何在训练和测试期间使用多个具有部分重叠列的表格进行机器学习模型的预测，并对预训练模型的性能进行了分析和比较。

    May, 2022

  • TABLET: 学习表格数据指令

    通过介绍具有指导逻辑和结构修改的指令的 20 个不同的类表数据集 Benchmarket，本研究探讨了自然语言指令对 LLMs 在解决类表数据问题中的影响。结果表明，上下文指令对 Flan-T5 11b 零射击 F1 性能平均提高 44％，对 ChatGPT 提高 13％；同时，我们发现 LLMs 在类表预测中忽略指令，并且即使有样例也不能正确预测特定实例。因此，该研究认为教学学习必须具备新的能力。

    Apr, 2023

  • XTab：跨表预训练技术用于表格 Transformer 模型

    本研究提出了一个名为 XTab 的跨表格预训练框架，使用自监督学习算法来提高多种数据集上的表格变换器的泛化性、学习速度和性能，并通过联邦学习解决了跨表不一致的挑战。

    May, 2023

  • 基础模型能否操纵您的数据？

    本文旨在探讨基础模型（FMs）在数据清洗和集成等传统数据任务中的表现，研究发现大型 FM 模型可以在这些任务中取得 SoTA 表现，并针对这一发现提出了相关挑战和机遇。

    May, 2022