综述中介绍了大规模语言建模在表格数据建模相关任务中的应用，包括预测、表格数据合成、问答和表格理解。通过归纳最新进展和总结数据集、度量标准和方法论，本综述发现了现有领域文献的优势、局限性、未开发的领域和研究间隙，并提供了相关代码和数据集的参考。期望以此为读者提供有关参考和深入见解，为他们在这个重要且快速进展的领域中有效应对挑战提供必备的工具和知识。

Feb, 2024

通过对大型语言模型的研究，揭示了它们在解释和推理表格数据方面的能力，发现表格结构变化对模型性能的影响，提出了表格结构归一化的方法，并且比较了文本推理和符号推理，同时通过多个推理路径的聚合，取得了在 WIKITABLEQUESTIONS 任务上的最新成果。

Dec, 2023

通过对大型语言模型（LLMs）在表格任务方面的应用进行全面的概述，本文除了涵盖传统的表格问答（Table QA）和事实验证等领域，还强调了表格操作和高级表格数据分析等新方面，并介绍了 LLMs 中的指导调优、提示和基于代理的方法，同时也提出了私有部署、高效推理和开发广泛基准的相关挑战。

Feb, 2024

利用大型语言模型（LLMs）解决数据科学中与表格数据相关的预测任务的研究，通过创建一个包含注解指令的综合数据集来对 LLM 进行大规模训练，研究应用训练好的模型在零样本预测、少样本预测和上下文学习场景中的实际应用，并通过实验证明该方法在表格智能方面相较于现有基准有显著改进。

Mar, 2024

通过提取 TabLib 语料库中的一个大规模高质量训练数据集，我们针对表格数据预测问题，使用 Llama 3-8B 大型语言模型（LLM）进行微调，并采用一种新颖的填充和注意力机制，实现了在未见过的表格上的零样本准确率超过随机猜测 15 个百分点以上的 TabuLa-8B，以及在少样本情况下比 XGBoost 和 TabPFN 模型更准确的能力。

Jun, 2024

通过提出 Tabula，使用语言模型结构的表格数据合成器，我们揭示了使用为自然语言处理设计的预训练语言模型在表格数据合成领域的内在局限性，并通过一种令人满意的基础模型开展了针对表格数据合成的专用基础模型的研发。此外，我们提出了一种令牌序列压缩策略，可显著减少训练时间同时保持合成数据的质量。实验证明，使用语言模型结构而不加载训练有素的模型权重可以获得更好的表格数据合成起始模型。此外，之前针对其他表格数据训练的 Tabula 模型可作为新的表格数据合成任务的优秀基础模型，而且该令牌序列压缩方法可大幅降低模型的训练时间。结果表明，Tabula 相较于当前基于 LLMs 的最先进算法而言，平均每个时期减少 46.2% 的训练时间，并始终获得更高的合成数据效用。

Oct, 2023

语言模型（如 GPT-3.5 和 ChatGPT）在执行各种任务和遵循多样化人类指令方面表现出卓越能力；然而，通过使用一系列基础的表格理解任务进行分析，我们发现当今的语言模型在许多与表格相关的任务上仍不完善，这可能是因为它们主要是在 “一维” 的自然语言文本上预训练的，而监管表格是 “二维” 的对象。因此，我们提出了一种新的 “表格调优” 范式，在这个范式中，我们通过使用合成自真实表格的多样化表格任务作为训练数据，继续训练 / 微调 GPT-3.5 和 ChatGPT 这类语言模型，以增强其理解表格和执行表格任务的能力。我们的实验结果表明，我们的 Table-GPT 模型在广泛的表格任务上始终优于普通 GPT-3.5 和 ChatGPT，并且在包括未见过的任务在内的情况下，它具有强大的泛化能力，可以以与 GPT-3.5 和 ChatGPT 类似的方式响应各种人类指令执行新的表格任务。

Oct, 2023

本文旨在通过设计一个基准来评估 LLMs 的结构理解能力，包括七个挑战不同的任务，使用 self-augmentation 方法来提高 LLMs 的表格任务表现，提高了 TabFact、HybridQA、SQA、Feverous 和 ToTTo 等表格任务的性能。

May, 2023

本文介绍了一种可靠的用于表格信息检索（TabIS）的基准评估方式，揭示了大型语言模型（LLMs）在从表格中获取信息方面存在的限制和潜在挑战。

Jun, 2024

本文提出一种基于自然语言摘要的表格信息检索方法，并利用一个新的以对话为导向、面向开放领域的表格摘要数据集来构建 SOTA 基线系统，并指出了未来研究方向和挑战。

May, 2020