ACLMay, 2021

任务导向语义解析中的 Transformer 诊断

PDF
TL;DR本文研究了 BART 和 XLM-R 两种目前最先进的基于 transformers 的任务导向语义解析模型在单语和多语境下的表现，实验证明它们不仅在消歧意图 / 槽方面有困难，而且在生成句法上有效的语义框架方面也遇到了问题，主要原因是在把句子片段抽取到框架中时存在歧义，导致语法无效。不过，该模型同时也为是否正确或不正确的语义框架给出了充足的指标，使得该模型可以轻松部署在生产环境中。
semantic parsingseq2seqtransformersambiguitysyntactic frames
发现论文，激发创造
  • 使用 Transformer 进行开放领域框架语义解析

    基于 transformer-based 模型的多任务学习在框架语义解析中取得优越性能，并且在 PropBank SRL 解析上也表现优于现有最佳系统。

    Oct, 2020

  • 用于机器翻译和自然语言理解的语法注入 Transformer 和 BERT 模型

    本论文研究了通过将句法信息与深度学习模型相结合，提高自然语言处理任务的性能表现，对多特征的语法 - Transformer 进行了测试，发现在完整数据集和部分数据集中，BLEU 得分都有明显提升，同时，在 GLUE 基准测试中，语法嵌入的 BERT 微调在几个下游任务中表现优于基线。

    Nov, 2019

  • 任务导向对话的词典注入语义分析

    本文提出一种新的基于层次表示的语义分析模型，使用分裂跨度和词汇注入技术，解决动态槽值的问题，取得了 TOP 数据集上最新的最佳结果。

    Nov, 2022

  • 具有栈变压器的移位约减任务导向语义解析

    本文探讨了基于转换系统的移进规约语义分析器，利用 Cutting-edge Transformer 架构和 In-order 算法，结合 Facebook TOP 基准中的多个领域的广泛测试，本方法在高资源和低资源情况下均超过了现有的移进规约解析器和最先进的序列到序列模型。

    Oct, 2022

  • 通过固有建模实现低资源任务导向语义解析

    本研究提出了一种基于任务的语义解析模型来提高在低资源环境下的学习效率，并通过预处理和训练过程探索了本体标签的内在属性，以作为知识库，最终实现了在模型效率和性能方面的提升。

    Apr, 2021

  • 基于堆栈变换器的转移句法分析

    本文探讨了使用序列到序列 Transformer 模型设计全局或局部状态模拟器改善基于转移的语法分析系统表现，并发现 Transformer 的交叉注意力机制的修改对于依存关系和抽象意义表征（AMR）分析任务的效果特别明显，尤其是在较小的模型或有限的训练数据下。

    Oct, 2020

  • 利用层次表示生成面向任务的语义分析合成数据

    本研究探讨了使用预训练去噪序列到序列模型（即 BART）生成神经语义分析的合成数据的可能性，并使用辅助解析器（AP）过滤生成的数据，结果表明这一方法在导航领域的 Facebook TOP 数据集上具有潜力。

    Nov, 2020

  • 使用分层表示进行任务导向对话的语义解析

    本文提出了一种基于层级标注的语义解析方案，能够有效且准确地分析复杂的组合查询，同时发布了包含 44000 个标注查询的数据集，并证明此方案在标准句法分析模型上的表现优于序列到序列的方案。

    Oct, 2018

  • 在 Transformer 编码器中编码语法知识以进行意图检测和槽填充

    本文提出了一种基于 Transformer 编码器的架构，用于意图检测和槽填充，并将句法知识编码到 Transformer 编码器中，通过多任务学习联合训练来预测每个标记的句法分析祖先和词性标注。实验结果表明，与之前最好的模型相比，我们的模型在两个基准数据集上实现了最先进的结果

    Dec, 2020

  • 基于序列到序列 Transformer 的结构感知微调用于基于转换的 AMR 分析

    探索将预训练的序列到序列语言模型与结构感知的基于转换的方法相集成，在提高 AMR 解析效果的同时保持先前基于转换的方法的优质属性，从而使模型更简单、更可靠。

    Oct, 2021