Jun, 2024

TACT: 提高复杂聚合推理的信息提取工具

PDF
TL;DR使用 TACT 数据集评估了大型语言模型（LLMs）的推理和计算能力，发现现有模型在整合分散信息和执行复杂集成任务方面表现不佳。提出了一个名为 IE 作为工具的新建模型框架，通过为每个步骤添加工具并采用 few-shot prompting 方法，有效提升了模型在这些任务中的能力。
large language modelstactreasoningcomputational abilitiesfew-shot prompting
发现论文，激发创造
  • TAT-LLM：用于离散推理表格和文本数据的专用语言模型

    我们开发了一个 TAT-LLM 语言模型来针对特定任务，该模型在 FinQA、TAT-QA 和 TAT-DQA 基准测试中表现优于所有基准模型，包括先前的最佳微调模型和像 GPT-4 这样的大规模语言模型。

    Jan, 2024

  • 关于表格问答的语言模型鲁棒性研究

    通过评估 Large Language Models (LLMs) 在基于维基百科和财务报告的 Tabular Question Answering (TQA) 数据集上的表格理解能力，研究发现指令对性能有显著影响，新模型 Llama3 比之前的版本更具鲁棒性，但 WTQ 数据集存在数据污染和实际可靠性问题，需要通过结构感知自注意机制和更好处理特定领域的表格数据来改进 LLMs 的可靠性。

    Jun, 2024

  • 用大型语言模型重新思考表格数据理解

    通过对大型语言模型的研究，揭示了它们在解释和推理表格数据方面的能力，发现表格结构变化对模型性能的影响，提出了表格结构归一化的方法，并且比较了文本推理和符号推理，同时通过多个推理路径的聚合，取得了在 WIKITABLEQUESTIONS 任务上的最新成果。

    Dec, 2023

  • 揭示大型语言模型在从表格中获取信息方面的局限性

    本文介绍了一种可靠的用于表格信息检索（TabIS）的基准评估方式，揭示了大型语言模型（LLMs）在从表格中获取信息方面存在的限制和潜在挑战。

    Jun, 2024

  • ACT-SQL: 上下文学习的自动生成思维链文本到 SQL

    我们研究了在文本到 SQL 任务中的提示设计问题，并尝试提高大型语言模型在生成 SQL 查询时的推理能力。我们设计了一种类似于模式链接的思维链 (CoT) 提示的方法，并提供了一种名为 ACT-SQL 的方法来自动生成自动 CoT 示例，从而整个过程不需要手动标注。我们的方法在生成一个 SQL 查询时仅使用一次 LLMs 的 API 调用，从而节省了成本。此外，我们将我们的上下文学习方法扩展到多轮文本到 SQL 任务。实验结果表明，LLMs 的性能可以受益于我们的 ACT-SQL 方法。在现有的上下文学习方法中，我们的方法在 Spider dev 数据集上实现了最好的性能。

    Oct, 2023

  • 评估金融文件问答中 LLM 的数学推理能力

    通过对四个金融表问答数据集进行广泛实验，这项研究探讨了大型语言模型在数学推理、结构化表格和非结构化文本融合方面的能力。研究集中分析了模型对表格复杂度的敏感性以及随着算术推理步骤增加的性能变化。结果揭示了大型语言模型在处理半结构化表格中复杂数学场景时的能力和限制，并提出了一种针对半结构化文档的新型提示技术，其性能与其它基准线相媲美或超越，同时提供对大型语言模型在此任务中的细致理解。

    Feb, 2024

  • HELLaMA: 基于 LLaMA 的表格文本生成方法，通过突出重要证据

    使用大型模型进行 fine-tuning，注入推理信息，突出表格的效果，并且获得最先进的结果。

    Nov, 2023

  • 表格处理的大语言模型：调查报告

    通过对大型语言模型（LLMs）在表格任务方面的应用进行全面的概述，本文除了涵盖传统的表格问答（Table QA）和事实验证等领域，还强调了表格操作和高级表格数据分析等新方面，并介绍了 LLMs 中的指导调优、提示和基于代理的方法，同时也提出了私有部署、高效推理和开发广泛基准的相关挑战。

    Feb, 2024

  • 利用大型语言模型和检索加强生成来提高教科书问答任务

    该论文提出了一种利用检索增强生成技术和迁移学习来处理教科书问答中领域外情况的方法，以处理复杂的语境和多模态数据，并改善推理能力。通过对 Llama-2 模型进行监督微调和引入 RAG，我们的架构在非图表多项选择题中相较于基线模型，在验证集上精度提升了 4.12%，在测试集上提升了 9.84%。

    Feb, 2024

  • TABLET: 学习表格数据指令

    通过介绍具有指导逻辑和结构修改的指令的 20 个不同的类表数据集 Benchmarket，本研究探讨了自然语言指令对 LLMs 在解决类表数据问题中的影响。结果表明，上下文指令对 Flan-T5 11b 零射击 F1 性能平均提高 44％，对 ChatGPT 提高 13％；同时，我们发现 LLMs 在类表预测中忽略指令，并且即使有样例也不能正确预测特定实例。因此，该研究认为教学学习必须具备新的能力。

    Apr, 2023