关系数据库中的数据存储方式使得使用机器学习模型变得具有挑战性和耗时，通过引入关系深度学习（RDL）方法，我们可以直接学习跨多个表格布置的数据，而无需进行手动特征工程。关系深度学习通过自动学习图引导，从而提取利用所有输入数据的表示，从而构建更准确的模型且速度更快。

Dec, 2023

近期的文本和图像基础模型受到了极大的关注，本文旨在将机器学习研究社区的重点稍稍转向不同的模态：表格数据。表格数据是许多领域的主要模态，但在规模和能力方面明显落后，我们认为现在是开发表格基础模型（或我们所称的大型表格模型）的时候了。大型表格模型将可能从多个角度革新科学和机器学习对表格数据的使用：不仅仅是分析单个数据集，而是联系相关数据集进行分析。潜在的影响是广泛的：从少样本表格模型到自动化数据科学；从超分布合成数据到促进多学科科学发现。我们希望激发对我们所研究模态的思考，并使一些研究人员开始研究大型表格模型。

May, 2024

本文提出了 Tabular Foundation Models (TabFMs)，通过在广泛的表格数据集上使用预训练的大型语言模型 (LLM) 并进行微调，实现了对表格数据具有深刻理解和普适能力的目标。TabFMs 在指导性任务（如零样本和上下文推理）方面具有显著优势，并且在某些情况下甚至超越了著名但神秘的闭源 LLMs，如 GPT-4。此外，当仅有有限的数据进行微调时，我们的模型表现出了出色的效率和竞争性表现。最后，我们也探讨了 TabFM 的局限性和潜在机会，旨在激发和促进未来开发更强大的 TabFMs 的研究。

Oct, 2023

本研究提出了 DocReL，一种文本关系表示学习框架，其中包含一种新的对比学习任务 Relational Consistency Modeling（RCM），并利用了上下文信息来改进视觉丰富文档中关系理解，如表结构识别，关键信息提取和阅读顺序检测。

May, 2022

构建更好的零样本和少样本生成能力的生成式表格基础模型 LaTable 在有限样本的条件下，在实例内分布生成方面胜过基线，并在生成超出分布的数据集时表现更好。

Jun, 2024

本文提出了 TURL 框架，该框架利用预训练 / 微调方法，在无监督的情况下学习关系表的深度上下文化表示，并应用于各种任务中。通过结构感知的 Transformer 编码器建模关系表的行列结构，并引入了一种新的 Masked Entity Recovery 目标进行预训练。在 6 个不同的关系表理解任务中，TURL 广泛适用且相对于现有方法具有更好的表现。

Jun, 2020

本文介绍了一种名为 TablEye 的创新框架，通过采用域转换来克服形成表格数据的先验知识的限制，它通过生成表格图像有效地保留原始表格数据的内在语义，并利用共享数据域来获取和应用先验知识。TablEye 在 4-shot 任务中超过了 TabLLM，最大 AUC 为 0.11，以及在 1-shot 环境中引领了平均 3.17％的准确度。

Jul, 2023

本文使用图表征学习的方法来解决不同测量源所生成的多视图表格数据的无监督建模问题，并提出了一个基于数据驱动的方法，将特征集表示为图节点，通过可学习的边来表示它们之间的关系，并引入了一种新的分层图自编码器 LEGATO，学习一个小的潜在图来动态地汇集多个视图的信息，并采用定位信息来对输入进行建模，因此能更好地提高下游性能。

May, 2023

通过使用通用模式和矩阵因式分解模型，同时处理文本和现有结构化数据库中的关系，以实现更精确的关系抽取。

Jan, 2013

基于树模型的注意机制结合与 (tabular data) 表格数据在 (gradient boosting) 梯度提升训练环境中学习，被证明在多个领域与包含树模型和神经网络模型的现有技术相比具有竞争力。

Feb, 2024