ACLJul, 2020

潜在组合表示提高基于场景的问答系统的系统化通用性

PDF
TL;DR该研究提出了一种使用 CKY 式分析器以底向上的组合方式计算问题文本的表示和标记，以在多步推理时达到系统化推广的模型，将模型调整为以树结构的归纳偏置，因而在算术表达式基准测试以及闭合测试中达到了 96.1% 的准确率。
multistep reasoninggrounded question answeringinductive biastree structuressystematic generalization
发现论文，激发创造
  • 神经组合指称语义问答

    一个可不断微调的端到端不可分化模型，可以组合问题中所提到的不同方面，并使用知识图谱，对复合问题进行多步推理，例如，通过学习语义运算符，实现语义操作和推理。

    Aug, 2018

  • 基于图的推理解码提升了问题回答的组合泛化能力

    提出了一种名为 Grounded Graph Decoding 的方法，通过使用注意力机制将结构化预测接地，从而提高语言表示的组成泛化，该方法显示出无需在目标领域做出任何假设即可学习组不变表示的能力，显著提高了复杂输入的一般性。

    Nov, 2021

  • 基于语言模型的组合概括

    通过扩展语义解析的组成概括工作，我们为生成与知识图谱配对的自然语言问题开发了一种方法，以在不受限于语言模型权重隐式编码的信息的同时，对这些模型从知识图谱中学习和概括程度进行控制性评估，我们发现现有的将语言模型与知识图谱组合的方法在未见过长度序列和新组合的基础组件方面存在泛化问题，因此，我们希望我们的工作和发布的数据集能够促进未来研究并探索如何更好地将语言模型与结构化知识表示相结合的方法。

    Jun, 2024

  • 基于分层图神经网络的组合式问答

    本研究提出了一个包含超过 120k 个人工标注问题的大规模组合式问答数据集，回答在此数据集上的问题需要组合文档中的若干段落来生成最终答案。本文针对该问题提出了一种基于图神经网络的层次预训练模型，并在预训练和机器阅读理解领域中取得了巨大的提升。

    Jan, 2021

  • 衡量视频问答的组成一致性

    本文开发了一个问题分解引擎，能将组合问题分解为子问题的有向无环图。使用问题图，我们评估了三个最先进的模型，并使用一组新的组成一致性指标。 我们发现，这些模型无法正确地通过大多数构图进行推理，或者依赖于错误推理来获得答案，并在中间的推理步骤失败时频繁地自相矛盾或达到高准确度。

    Apr, 2022

  • 教小型语言模型如何推广到未见过的组合问题

    我们在本文中提出了一种通过多任务监督预训练和密集检索系统的组合来实现对具有挑战性的复合问题的泛化的方法，并且展示了通过添加用于训练的检索增强数据集可以显著提高模型的性能。

    Aug, 2023

  • 灵活结构化的知识驱动问答

    本文提出了一种使用语言模型结合知识进行基于知识的问答的方法，其中包括知识构建方法和深度融合机制，可以优雅地提取结构数据和提高模型性能。

    Sep, 2022

  • 学习使用语言树结构合成和推理视觉基础

    本文提出了一种基于 RVG-TREE 的自然语言基础模型，其可以自动组成二叉树结构进行语言解析，并沿着树进行自底向上的视觉推理，实现更具解释性的推理效果。

    Jun, 2019

  • 基于维基数据的多语义解析中的构成性泛化

    本篇文章提出了一种基于 Wikidata 的多语言、平行的问句对数据集，即 Multilingual Compositional Wikidata Questions（MCWQ），用于分析语义解析器在英语、希伯来语、卡纳达语和汉语中的组合泛化能力。结果表明，即使使用最先进的预训练多语言编码器，跨语言组合泛化能力也无法实现，文章的方法、数据集和结果将有助于未来关于具有更现实和多样化背景下语义解析的研究。

    Aug, 2021

  • 生成式多跳问答任务的常识推理

    通过提出一种选择基于概念网络的常识信息和一种选择性门控的多头注意力机制，本文提出了一种生成式模型，用于解决阅读理解 QA 任务中的多跳关系抽取问题，并在 NarrativeQA 数据集上创造新的最先进结果。

    Sep, 2018