Table-GPT: 用于多样化表格任务的表格调优版 GPT

Oct, 2023

Table-GPT: 用于多样化表格任务的表格调优版 GPT

Table-GPT: Table-tuned GPT for Diverse Table Tasks

Peng Li, Yeye He, Dror Yashar, Weiwei Cui, Song Ge...

TL;DR语言模型（如 GPT-3.5 和 ChatGPT）在执行各种任务和遵循多样化人类指令方面表现出卓越能力；然而，通过使用一系列基础的表格理解任务进行分析，我们发现当今的语言模型在许多与表格相关的任务上仍不完善，这可能是因为它们主要是在 “一维” 的自然语言文本上预训练的，而监管表格是 “二维” 的对象。因此，我们提出了一种新的 “表格调优” 范式，在这个范式中，我们通过使用合成自真实表格的多样化表格任务作为训练数据，继续训练 / 微调 GPT-3.5 和 ChatGPT 这类语言模型，以增强其理解表格和执行表格任务的能力。我们的实验结果表明，我们的 Table-GPT 模型在广泛的表格任务上始终优于普通 GPT-3.5 和 ChatGPT，并且在包括未见过的任务在内的情况下，它具有强大的泛化能力，可以以与 GPT-3.5 和 ChatGPT 类似的方式响应各种人类指令执行新的表格任务。

Abstract

language models, such as GPT-3.5 and ChatGPT, demonstrate remarkable abilities to follow diverse human instructions and perform a wide range of tasks. However, when probing language models using a range of basic

language models table-understanding tasks table-tuning table-gpt models generalizability

发现论文，激发创造

TableGPT：将表格、自然语言和指令统一为一体的 GPT 模型

TableGPT 是一个统一的 fine-tuned 框架，它使用外部功能命令使大型语言模型能够理解和操作表格，具有与表格无缝交互的能力，使数据操作、可视化和报告生成更加简便、易用、高效，其核心概念是全局表格表示，同时支持数据流程、查询拒绝、私有部署等功能，可以更好地适应特定的使用情况。

Jul, 2023

大型语言模型是复杂的表格解析器

本文中，我们提出了在复杂表格问答中引入 GPT-3.5 的方法来解决相关挑战，通过重构复杂表格为元组并使用特定的提示设计对话框，将每个单元格的层次结构、位置信息和内容编码为一个元组，并通过加强提示模板的解释说明每个元组的含义和任务的逻辑推理过程，有效提高了 GPT-3.5 对复杂表格的层次结构感知能力，从而更好地解析复杂表格。通过大量的实验证明，我们的方法在复杂表格问答数据集 HiTAB 和航空领域数据集 AIT-QA 上显著优于先前的工作，取得了最先进的性能。

Dec, 2023

填补鸿沟：利用大型语言模型解读表格数据

大型语言模型在表格问答任务中的首次应用以增强模型对表格结构和内容的理解。

Aug, 2023

从语言模型的参数化知识生成表格

通过评估四个最先进的大语言模型在生成结构化数据表方面的能力，本研究发现大语言模型在表格生成方面仍然存在挑战，GPT-4 的准确率最高为 19.6%。同时，研究还揭示了表格的各种属性（如大小、受欢迎程度和数值内容）如何影响生成性能，从而为未来研究提供了坚实的评估框架。

Jun, 2024

GPT 也能理解

利用可训练的连续提示嵌入 (P-tuning) 方法，在自然语言理解 (NLU) 任务上，GPT 在不需要额外文本的情况下，能够比同等大小的 BERT 表现更好或者相当，并且在 LAMA 基准测试中恢复了 64％的世界知识，同时在监督学习中，GPT 表现出类似大小的 BERT 相似或更好的性能。此外，该方法还显著减少了对提示工程的需求，并在少样本 SuperGlue 基准测试中优于现有最先进方法。

Mar, 2021

表格处理的大语言模型：调查报告

通过对大型语言模型（LLMs）在表格任务方面的应用进行全面的概述，本文除了涵盖传统的表格问答（Table QA）和事实验证等领域，还强调了表格操作和高级表格数据分析等新方面，并介绍了 LLMs 中的指导调优、提示和基于代理的方法，同时也提出了私有部署、高效推理和开发广泛基准的相关挑战。

Feb, 2024

TableLlama: 面向表格的开放大型通用模型

我们开发了第一个开源的通用模型 TableLlama，通过在 TableInstruct 数据集上进行训练，实现了与特定任务设计方法相媲美甚至更好的性能，并证明了在 TableInstruct 上进行训练可以提高模型的泛化能力。

Nov, 2023

语言模型是少样本学习器

在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

May, 2020

使用 ChatGPT 模型评估阿拉伯语 NLP 任务

本研究评估了 GPT-3.5 和 GPT-4 模型在七个阿拉伯语自然语言处理任务上的性能，并发现 GPT-4 在其中五个任务上的性能优于 GPT-3.5，同时提供了一种新的 Python 接口用于轻松评估这些任务。

Jun, 2023

关于语言理解任务，GPT-3.5 对前身模型的鲁棒性有多强？一项全面研究

该研究全面评估了 GPT-3.5 在 21 个数据集上进行文本转换后的表现，发现其在某些任务上表现优异，但仍存在重大的鲁棒性降级，而且 GPT-3.5 面临着一些特定的鲁棒性挑战，这些发现对于了解其限制以及指导未来的研究具有重要价值。

Mar, 2023