用大型语言模型重新思考表格数据理解
使用大型语言模型 (LLMs) 改善表格推理性能是当前主流方法。本文分析了在 LLMs 时代中提升表格推理性能的主要技术以及 LLMs 相较于之前方法的优势,并提供了改进现有方法和扩展实际应用的研究方向,以激发未来表格推理研究的进一步发展。
Feb, 2024
该研究介绍了一种名为 NormTab 的新型框架,旨在通过规范化网页表格来提高大型语言模型在符号推理任务中的性能。实验证明,利用 NormTab 显著提高了符号推理性能,为增强基于大型语言模型的符号推理任务的重要性和有效性提供了充分的证据。
Jun, 2024
通过对大型语言模型(LLMs)在表格任务方面的应用进行全面的概述,本文除了涵盖传统的表格问答(Table QA)和事实验证等领域,还强调了表格操作和高级表格数据分析等新方面,并介绍了 LLMs 中的指导调优、提示和基于代理的方法,同时也提出了私有部署、高效推理和开发广泛基准的相关挑战。
Feb, 2024
本文旨在通过设计一个基准来评估 LLMs 的结构理解能力,包括七个挑战不同的任务,使用 self-augmentation 方法来提高 LLMs 的表格任务表现,提高了 TabFact、HybridQA、SQA、Feverous 和 ToTTo 等表格任务的性能。
May, 2023
利用大型语言模型(LLMs)解决数据科学中与表格数据相关的预测任务的研究,通过创建一个包含注解指令的综合数据集来对 LLM 进行大规模训练,研究应用训练好的模型在零样本预测、少样本预测和上下文学习场景中的实际应用,并通过实验证明该方法在表格智能方面相较于现有基准有显著改进。
Mar, 2024
本文旨在研究大型语言模型在表格相关任务中的能力,发现当结合 “思维链” 提示时,大型语言模型可以在只有 1 个样本的情况下达到与某些 SotA 模型相当的表现。
Oct, 2022
本研究研究了大型语言模型在生成结构化表格数据文本时的性能,证明了大型语言模型在文本生成领域中的潜力和应用,并探讨了大型语言模型在文本生成质量自动评估及模型优化中的应用。
May, 2023
通过评估 Large Language Models (LLMs) 在基于维基百科和财务报告的 Tabular Question Answering (TQA) 数据集上的表格理解能力,研究发现指令对性能有显著影响,新模型 Llama3 比之前的版本更具鲁棒性,但 WTQ 数据集存在数据污染和实际可靠性问题,需要通过结构感知自注意机制和更好处理特定领域的表格数据来改进 LLMs 的可靠性。
Jun, 2024
通过对四个金融表问答数据集进行广泛实验,这项研究探讨了大型语言模型在数学推理、结构化表格和非结构化文本融合方面的能力。研究集中分析了模型对表格复杂度的敏感性以及随着算术推理步骤增加的性能变化。结果揭示了大型语言模型在处理半结构化表格中复杂数学场景时的能力和限制,并提出了一种针对半结构化文档的新型提示技术,其性能与其它基准线相媲美或超越,同时提供对大型语言模型在此任务中的细致理解。
Feb, 2024