Dec, 2023

面向科学推理的可控表格到文本生成

PDF
TL;DR我们提供了一个生成符合用户偏好的流畅且逻辑一致的科学表格数据描述的新任务，并通过构建一个具有高亮单元格和相应专业知识库的数据集，为这个方向的研究提供了基准，并提出了一种优于竞争方法的新架构。结果显示，大型模型在生成与用户偏好一致的准确内容方面存在困难。作为首创，我们的工作有望推动科学领域的进一步研究。
发现论文，激发创造
  • 从科学表格中学习推理进行文本生成

    本研究引入了 SciGen，一个考虑推理的数据到文本生成任务的数据集。SciGen 是第一个评估生成模型在复杂输入结构下算术推理能力的数据集，并表明表格描述需要考虑表格值的推理。在 SciGen 上进行实验表明，目前数据到文本生成模型的推理能力受限，缺乏适当的自动评估度量。

    Apr, 2021

  • 在数据稀缺的约束下，在人工参与机制下的医学科学表格自动生成文本

    本文提出了一种新的基于表格到文本的方法，通过自我纠正、复制机制和合成数据增量，增强了该方法的性能。实验证明，该方法选择了显著的生物医学实体和值，以生成相关的文本，同时我们还演示了该系统对新数据集的轻量级适应。人工验证表明，该模型的输出是准确和可靠的。

    May, 2022

  • STOAT: 用控件将结构化数据转化为分析性文本

    本论文提出了一种基于 STOAT 模型的分析文本从结构化数据（如表格）生成方法，该模型可在输出中增加给定的推理类别，如数字推理、常识推理、时间推理、表格知识和实体知识，并在人类评价中比基准模型生成了 15.3% 更忠实和分析的描述。

    May, 2023

  • 提高用户控制的表格到文本生成鲁棒性

    本研究探讨用户控制的表格转文本生成，针对嘈杂、冗余、不连贯的单元选择提出了一种微调策略，使生成模型的性能可以在用户噪声输入上得到提高，同时在 ToTTo 数据集上达到与现有最先进模型相当的性能水平。

    Feb, 2023

  • 对话式搜索中表格数据的总结和探索

    本文提出一种基于自然语言摘要的表格信息检索方法，并利用一个新的以对话为导向、面向开放领域的表格摘要数据集来构建 SOTA 基线系统，并指出了未来研究方向和挑战。

    May, 2020

  • 从半结构化表格中生成样例，赋予语言模型推理技能

    本文提出了一种基于预训练的方法，通过利用半结构化表格自动生成问题 - 段落对，以检验模型的推理能力，并且通过采样策略来提高模型训练的效率，在三个涉及推理的阅读理解数据集上证明了我们的模型相比于现有流行模型 T5 表现更优。

    Jul, 2021

  • 面向无监督复杂表格推理的统一框架

    本文提出了一种适用于表格推理任务的统一的无监督框架（UCTR），该框架通过生成复杂逻辑的充足和多样化的合成数据，使得模型能够在无人标注数据的情况下获得良好的推理性能。该方法在实验中表现出了与监督模型最多 93% 的性能，并在低资源领域作为数据增强技术大幅提高了监督性能。

    Dec, 2022

  • 增强表格推理的现实数据增强框架

    该论文提出了一种实际的半自动数据增强框架，可以为半结构化表格推理等 NLI 任务构建训练数据。使用生成可应用于相似表格的假设模板生成假设并基于人类逻辑约束和前提重述创建有理的反事实表。该框架可以产生类人的表推理示例，可在有限监督的情况下提高训练数据的规模。

    Oct, 2022

  • LLMs 的有效表格推理能力提炼

    本论文提出了一种新颖的基于表格推理的蒸馏方法，通过将大型语言模型（LLMs）蒸馏成专门为基于表格推理任务设计的小型模型，实验证明使用蒸馏数据进行微调的 0.22 亿参数模型（Flan-T5-base）在科学表格文本生成数据集（SciGen）上不仅显著提高了性能，而且超越了诸如 gpt-3.5-turbo 等特定 LLMs 的表现。

    Sep, 2023

  • 利用外部知识提升表格推理能力

    本文通过研究表格自然语言推理问题，针对文本的预训练上下文嵌入等现代自然语言处理方法在表格信息方面所面临的独特挑战，提出了有效的信息呈现改进，经过系统实验表明这些方法可以大幅提高模型的表格推理性能。

    Apr, 2021