EMNLPDec, 2023

大型语言模型是复杂的表格解析器

PDF
TL;DR本文中，我们提出了在复杂表格问答中引入 GPT-3.5 的方法来解决相关挑战，通过重构复杂表格为元组并使用特定的提示设计对话框，将每个单元格的层次结构、位置信息和内容编码为一个元组，并通过加强提示模板的解释说明每个元组的含义和任务的逻辑推理过程，有效提高了 GPT-3.5 对复杂表格的层次结构感知能力，从而更好地解析复杂表格。通过大量的实验证明，我们的方法在复杂表格问答数据集 HiTAB 和航空领域数据集 AIT-QA 上显著优于先前的工作，取得了最先进的性能。
generative pre-trained transformer 3.5question answeringcomplex table qahierarchical structurelogical reasoning process
发现论文，激发创造
  • Table-GPT: 用于多样化表格任务的表格调优版 GPT

    语言模型（如 GPT-3.5 和 ChatGPT）在执行各种任务和遵循多样化人类指令方面表现出卓越能力；然而，通过使用一系列基础的表格理解任务进行分析，我们发现当今的语言模型在许多与表格相关的任务上仍不完善，这可能是因为它们主要是在 “一维” 的自然语言文本上预训练的，而监管表格是 “二维” 的对象。因此，我们提出了一种新的 “表格调优” 范式，在这个范式中，我们通过使用合成自真实表格的多样化表格任务作为训练数据，继续训练 / 微调 GPT-3.5 和 ChatGPT 这类语言模型，以增强其理解表格和执行表格任务的能力。我们的实验结果表明，我们的 Table-GPT 模型在广泛的表格任务上始终优于普通 GPT-3.5 和 ChatGPT，并且在包括未见过的任务在内的情况下，它具有强大的泛化能力，可以以与 GPT-3.5 和 ChatGPT 类似的方式响应各种人类指令执行新的表格任务。

    Oct, 2023

  • TableGPT：将表格、自然语言和指令统一为一体的 GPT 模型

    TableGPT 是一个统一的 fine-tuned 框架，它使用外部功能命令使大型语言模型能够理解和操作表格，具有与表格无缝交互的能力，使数据操作、可视化和报告生成更加简便、易用、高效，其核心概念是全局表格表示，同时支持数据流程、查询拒绝、私有部署等功能，可以更好地适应特定的使用情况。

    Jul, 2023

  • 填补鸿沟：利用大型语言模型解读表格数据

    大型语言模型在表格问答任务中的首次应用以增强模型对表格结构和内容的理解。

    Aug, 2023

  • 评估 ChatGPT 在回答复杂问题时作为问答系统的有效性

    评估使用自身知识作为问答系统的 ChatGPT 在回答复杂问题方面的能力，我们提出了一个框架来评估其功能和可靠性，并使用 CheckList 和 8 个现实世界的基于 KB 的问答数据集进行了测试。 我们发现 LLM 模型的一些常见问题。

    Mar, 2023

  • 大型语言模型作为副主厨：使用 GPT-3 修改食谱

    我们的研究利用大语言模型将菜谱文本转化为易于理解的形式，通过改进菜谱的步骤和指令并使用 Amazon Mechanical Turk 任务收集人类意见，证明了大语言模型作为数字厨师的潜在应用。

    Jun, 2023

  • 关于语言理解任务，GPT-3.5 对前身模型的鲁棒性有多强？一项全面研究

    该研究全面评估了 GPT-3.5 在 21 个数据集上进行文本转换后的表现，发现其在某些任务上表现优异，但仍存在重大的鲁棒性降级，而且 GPT-3.5 面临着一些特定的鲁棒性挑战，这些发现对于了解其限制以及指导未来的研究具有重要价值。

    Mar, 2023

  • 从语言模型的参数化知识生成表格

    通过评估四个最先进的大语言模型在生成结构化数据表方面的能力，本研究发现大语言模型在表格生成方面仍然存在挑战，GPT-4 的准确率最高为 19.6%。同时，研究还揭示了表格的各种属性（如大小、受欢迎程度和数值内容）如何影响生成性能，从而为未来研究提供了坚实的评估框架。

    Jun, 2024

  • 大型语言模型与查询工程在生物医学多文档摘要中的应用

    使用提示工程和 GPT-3.5 进行生物医学问题聚焦多文档摘要，我们的系统在 2023BioASQ 挑战中通过 GPT-3.5 和适当的提示获得了最佳的 ROUGE-F1 结果。这篇论文证实了在其他领域观察到的事实：纳入少样本的提示通常优于对应的零样本变体；检索增强生成实现了最大的改进。这些提示使得我们的最佳运行结果在 BioASQ11b 排名前两位，证明了在一般情况下，使用适当的提示对于大语言模型以及 GPT-3.5 在问题聚焦摘要中的强大作用。

    Nov, 2023

  • 可迁移的表格问答

    本文设计了新的挑战测试基准 WikiSQL-TS 和 WikiTQ-TS，模拟了实际主题转移场景，并提出了适用于 TableQA 的 T3QA（主题可转移的表格问题回答）方案，包括注入特定主题词汇、生成主题专用训练数据生成程序和逻辑形式重新排序器。我们认为我们的主题分裂基准将会促进更好的部署的鲁棒的 TableQA 解决方案。

    Sep, 2021

  • GPT 模型对叙事实体提取的探究

    在这项研究中，我们评估了两个最先进的语言模型 ——GPT-3 和 GPT-3.5（通常被称为 ChatGPT）在提取叙述实体（事件、参与者和时间表达）方面的能力，并发现它们与开箱即用的基准系统相媲美，为资源有限的从业者提供了一种全能的替代方案。通过研究这些模型在信息提取领域的优势和局限性，我们提供了可以指导未来改进和探索的见解。

    Nov, 2023