Feb, 2024

表格处理的大语言模型：调查报告

PDF
TL;DR通过对大型语言模型（LLMs）在表格任务方面的应用进行全面的概述，本文除了涵盖传统的表格问答（Table QA）和事实验证等领域，还强调了表格操作和高级表格数据分析等新方面，并介绍了 LLMs 中的指导调优、提示和基于代理的方法，同时也提出了私有部署、高效推理和开发广泛基准的相关挑战。
large language modelstable taskstable manipulationadvanced table data analysisllm usage
发现论文，激发创造
  • 大型语言模型是有效的表格到文本生成器、评估器和反馈提供者

    本研究研究了大型语言模型在生成结构化表格数据文本时的性能，证明了大型语言模型在文本生成领域中的潜力和应用，并探讨了大型语言模型在文本生成质量自动评估及模型优化中的应用。

    May, 2023

  • 释放大型语言模型在数据科学中预测表格任务的潜力

    利用大型语言模型（LLMs）解决数据科学中与表格数据相关的预测任务的研究，通过创建一个包含注解指令的综合数据集来对 LLM 进行大规模训练，研究应用训练好的模型在零样本预测、少样本预测和上下文学习场景中的实际应用，并通过实验证明该方法在表格智能方面相较于现有基准有显著改进。

    Mar, 2024

  • 用大型语言模型重新思考表格数据理解

    通过对大型语言模型的研究，揭示了它们在解释和推理表格数据方面的能力，发现表格结构变化对模型性能的影响，提出了表格结构归一化的方法，并且比较了文本推理和符号推理，同时通过多个推理路径的聚合，取得了在 WIKITABLEQUESTIONS 任务上的最新成果。

    Dec, 2023

  • TableLLM：在真实办公场景中让 LLMs 能够操作表格数据

    TableLLM 是一个具有 130 亿参数的强大的大型语言模型，专门用于高效处理嵌入在文件或电子表格中的表格数据操作任务，适用于实际的办公场景。我们提出了一种远程监督方法用于训练，包括推理过程扩展策略，有效帮助训练语言模型理解推理模式，以及交叉验证策略，确保自动生成的数据的质量。通过自行构建的评估管道和基准测试来评估 TableLLM 的性能，可以处理文件和电子表格格式，并突出显示了 TableLLM 与各种现有的通用型和面向表格数据的语言模型相比的优势。我们已公开发布了模型检查点、源代码、基准测试和用于用户交互的网络应用程序。

    Mar, 2024

  • 大型语言模型在表格推理中的调查

    使用大型语言模型 (LLMs) 改善表格推理性能是当前主流方法。本文分析了在 LLMs 时代中提升表格推理性能的主要技术以及 LLMs 相较于之前方法的优势，并提供了改进现有方法和扩展实际应用的研究方向，以激发未来表格推理研究的进一步发展。

    Feb, 2024

  • 大型语言模型是少量样本的表格推理器

    本文旨在研究大型语言模型在表格相关任务中的能力，发现当结合 “思维链” 提示时，大型语言模型可以在只有 1 个样本的情况下达到与某些 SotA 模型相当的表现。

    Oct, 2022

  • 大型语言模型在表格数据上的应用 -- 综述

    综述中介绍了大规模语言建模在表格数据建模相关任务中的应用，包括预测、表格数据合成、问答和表格理解。通过归纳最新进展和总结数据集、度量标准和方法论，本综述发现了现有领域文献的优势、局限性、未开发的领域和研究间隙，并提供了相关代码和数据集的参考。期望以此为读者提供有关参考和深入见解，为他们在这个重要且快速进展的领域中有效应对挑战提供必备的工具和知识。

    Feb, 2024

  • TableLlama: 面向表格的开放大型通用模型

    我们开发了第一个开源的通用模型 TableLlama，通过在 TableInstruct 数据集上进行训练，实现了与特定任务设计方法相媲美甚至更好的性能，并证明了在 TableInstruct 上进行训练可以提高模型的泛化能力。

    Nov, 2023

  • 填补鸿沟：利用大型语言模型解读表格数据

    大型语言模型在表格问答任务中的首次应用以增强模型对表格结构和内容的理解。

    Aug, 2023

  • 关于表格问答的语言模型鲁棒性研究

    通过评估 Large Language Models (LLMs) 在基于维基百科和财务报告的 Tabular Question Answering (TQA) 数据集上的表格理解能力，研究发现指令对性能有显著影响，新模型 Llama3 比之前的版本更具鲁棒性，但 WTQ 数据集存在数据污染和实际可靠性问题，需要通过结构感知自注意机制和更好处理特定领域的表格数据来改进 LLMs 的可靠性。

    Jun, 2024