EMNLPNov, 2021

基于图的推理解码提升了问题回答的组合泛化能力

PDF
TL;DR提出了一种名为 Grounded Graph Decoding 的方法，通过使用注意力机制将结构化预测接地，从而提高语言表示的组成泛化，该方法显示出无需在目标领域做出任何假设即可学习组不变表示的能力，显著提高了复杂输入的一般性。
发现论文，激发创造
  • 潜在组合表示提高基于场景的问答系统的系统化通用性

    该研究提出了一种使用 CKY 式分析器以底向上的组合方式计算问题文本的表示和标记，以在多步推理时达到系统化推广的模型，将模型调整为以树结构的归纳偏置，因而在算术表达式基准测试以及闭合测试中达到了 96.1% 的准确率。

    Jul, 2020

  • 基于语言模型的组合概括

    通过扩展语义解析的组成概括工作，我们为生成与知识图谱配对的自然语言问题开发了一种方法，以在不受限于语言模型权重隐式编码的信息的同时，对这些模型从知识图谱中学习和概括程度进行控制性评估，我们发现现有的将语言模型与知识图谱组合的方法在未见过长度序列和新组合的基础组件方面存在泛化问题，因此，我们希望我们的工作和发布的数据集能够促进未来研究并探索如何更好地将语言模型与结构化知识表示相结合的方法。

    Jun, 2024

  • 递归解码：基于情境认知的基于语境的语言理解中的组合生成方法

    本文提出了 Recursive Decoding (RD) 算法，针对 “decode-side” 推理，通过逐步预测每个单词来训练 seq2seq 模型，进而在 grounded language understanding 中，以及 seq2seq 领域中实现了显著的改进。

    Jan, 2022

  • 语法指导的 Transformer: 在多模态环境中提升组合泛化能力和基于语境的理解

    利用句法结构的注意力屏蔽技术从根本上提高了组合概括的重要性，特别是在多模式环境中的语义根基问题。通过在 Transformer 编码器中的权重共享，依赖解析在不同任务中推动了基于语法的组合概括的最新研究。这些结果提高了多模式语义根基和参数高效建模的技术水平，并为未来的研究提供了深入洞察。

    Nov, 2023

  • 语言中组合泛化的分层偏序解码

    本文提出一种新的分层偏序集解码范例，以促进语言的组合泛化能力，并在特定于组成性泛化的自然语言问答数据集上进行了实验。

    Oct, 2020

  • 结构化变分跨图对应学习的组合时序对齐

    介绍了一个新的机遇 Compositional Temporal Grounding 任务和两个新的数据集拆分，即 Charades-CG 和 ActivityNet-CG，用于测试模型的组合泛化能力，提出了一个变异的跨图推理框架来应对这一挑战。

    Mar, 2022

  • 衡量视频问答的组成一致性

    本文开发了一个问题分解引擎，能将组合问题分解为子问题的有向无环图。使用问题图，我们评估了三个最先进的模型，并使用一组新的组成一致性指标。 我们发现，这些模型无法正确地通过大多数构图进行推理，或者依赖于错误推理来获得答案，并在中间的推理步骤失败时频繁地自相矛盾或达到高准确度。

    Apr, 2022

  • 语义标记实现组合泛化

    在语义解析中，提出了一个新的解码框架，该框架保留了序列到序列模型的表现力和通用性，同时具有类似词典的对齐和解开信息处理，能够提高模型的组合泛化能力。

    Oct, 2020

  • 面向多跳问题回答的粗粒度分解与细粒度交互

    本文提出了一种新的多跳问题回答模型架构，通过应用 CGDe 和 FGIn 两种策略，在 SQuAD 和 HotpotQA 数据集上表现出超越 state-of-the-art 基线的性能。

    Jan, 2021

  • 神经组合指称语义问答

    一个可不断微调的端到端不可分化模型，可以组合问题中所提到的不同方面，并使用知识图谱，对复合问题进行多步推理，例如，通过学习语义运算符，实现语义操作和推理。

    Aug, 2018