LLMs 中的表格表示、噪声操作及其对表格结构理解任务的影响

Oct, 2023

LLMs 中的表格表示、噪声操作及其对表格结构理解任务的影响

Tabular Representation, Noisy Operators, and Impacts on Table Structure Understanding Tasks in LLMs

Ananya Singha, José Cambronero, Sumit Gulwani, Vu Le, Chris Parnin

TL;DR通过引入基于自我监督任务的结构化任务集合以及噪声操作，本研究探讨大型语言模型在表格任务中的效能和结构理解能力。

Abstract

large language models (LLMs) are increasingly applied for tabular tasks using in-context learning. The prompt representation for a table m

large language models tabular tasks prompt representation self-supervised structural tasks noise operations

发现论文，激发创造

用大型语言模型重新思考表格数据理解

通过对大型语言模型的研究，揭示了它们在解释和推理表格数据方面的能力，发现表格结构变化对模型性能的影响，提出了表格结构归一化的方法，并且比较了文本推理和符号推理，同时通过多个推理路径的聚合，取得了在 WIKITABLEQUESTIONS 任务上的最新成果。

Dec, 2023

表格处理的大语言模型：调查报告

通过对大型语言模型（LLMs）在表格任务方面的应用进行全面的概述，本文除了涵盖传统的表格问答（Table QA）和事实验证等领域，还强调了表格操作和高级表格数据分析等新方面，并介绍了 LLMs 中的指导调优、提示和基于代理的方法，同时也提出了私有部署、高效推理和开发广泛基准的相关挑战。

Feb, 2024

表格作为图像？探索 LLM 在多模态表格数据表示中的优势和局限性

研究通过不同的提示策略和数据格式来调查各种 LLMs 在解释表格数据方面的有效性。我们的分析涵盖了六个与表格相关的任务的基准，如问答和事实核查。我们首次评估了 LLMs 在基于图像的表格表示上的性能。具体而言，我们比较了五种基于文本和三种基于图像的表格表示，展示了表示和提示对 LLM 性能的影响。我们的研究揭示了 LLMs 在表格相关任务上有效使用的见解。

Feb, 2024

释放大型语言模型在数据科学中预测表格任务的潜力

利用大型语言模型（LLMs）解决数据科学中与表格数据相关的预测任务的研究，通过创建一个包含注解指令的综合数据集来对 LLM 进行大规模训练，研究应用训练好的模型在零样本预测、少样本预测和上下文学习场景中的实际应用，并通过实验证明该方法在表格智能方面相较于现有基准有显著改进。

Mar, 2024

对大型语言模型在表格数据预测中的公平性调查

通过一系列的实验，我们发现大型语言模型在表格预测任务中往往会继承社会偏见，这从根源上影响了它们的公平性，并且通过标签反转等方法可以显著减少这些偏见。

Oct, 2023

通过输入设计评估和增强大型语言模型在表格上的结构理解能力

本文旨在通过设计一个基准来评估 LLMs 的结构理解能力，包括七个挑战不同的任务，使用 self-augmentation 方法来提高 LLMs 的表格任务表现，提高了 TabFact、HybridQA、SQA、Feverous 和 ToTTo 等表格任务的性能。

May, 2023

关于表格问答的语言模型鲁棒性研究

通过评估 Large Language Models (LLMs) 在基于维基百科和财务报告的 Tabular Question Answering (TQA) 数据集上的表格理解能力，研究发现指令对性能有显著影响，新模型 Llama3 比之前的版本更具鲁棒性，但 WTQ 数据集存在数据污染和实际可靠性问题，需要通过结构感知自注意机制和更好处理特定领域的表格数据来改进 LLMs 的可靠性。

Jun, 2024

TableLLM：在真实办公场景中让 LLMs 能够操作表格数据

TableLLM 是一个具有 130 亿参数的强大的大型语言模型，专门用于高效处理嵌入在文件或电子表格中的表格数据操作任务，适用于实际的办公场景。我们提出了一种远程监督方法用于训练，包括推理过程扩展策略，有效帮助训练语言模型理解推理模式，以及交叉验证策略，确保自动生成的数据的质量。通过自行构建的评估管道和基准测试来评估 TableLLM 的性能，可以处理文件和电子表格格式，并突出显示了 TableLLM 与各种现有的通用型和面向表格数据的语言模型相比的优势。我们已公开发布了模型检查点、源代码、基准测试和用于用户交互的网络应用程序。

Mar, 2024

大型语言模型是有效的表格到文本生成器、评估器和反馈提供者

本研究研究了大型语言模型在生成结构化表格数据文本时的性能，证明了大型语言模型在文本生成领域中的潜力和应用，并探讨了大型语言模型在文本生成质量自动评估及模型优化中的应用。

May, 2023

表格数据任务的自动提示生成系统

通过创新自动生成系统，本文提出了两种新方法：一种基于强化学习的算法用于识别和排序与任务相关的列，另一种基于单元格相似性的方法用于增强少样例选择，该方法在 66 个数据集上经过了广泛测试，并使用两个不同的大型语言模型（Google flan-t5-xxl 和 Mixtral 8x7B）在数据填充、错误检测和实体匹配三个下游任务中展现出改进的性能。

May, 2024