ACLJun, 2017

神经语义解析的迁移学习

PDF
TL;DR本文提出了一种基于多任务框架和序列到序列模型的语义解析方法，旨在解决语料数据不足限制，较少标注数据任务可以通过从大量标注数据任务中传递学习的方式得到提升，实验结果在自己的数据集中获得了 1.0% 到 4.4% 的准确度提升，在 ATIS 语义解析任务中，准确度提升了 2.5% 到 7.0%。
semantic parsingsequence-to-sequencemulti-task learningtransfer learningannotation data
发现论文，激发创造
  • 一个语义分析器解析所有问题：基于序列到序列多任务学习的语义解析数据集

    本文为研究使用多任务学习 (MTL) 框架统一不同的含义数据集和训练单一模型，使用了五个数据集 (Geoquery，NLMaps，TOP，Overnight，AMR) 进行实验，我们发现在不增加总参数数量的情况下，全网络共享的 MTL 架构的解析精度与单任务的基线相当或更好，同时也提供了更好的组合推广性，我们还提出了一种可与广泛使用的比例抽样策略相比较的竞争性选择任务抽样方法。

    Jun, 2021

  • 用非常少的数据训练自然化语义解析器

    本篇论文介绍了一种基于语言模型的 seq2seq 体系结构，重点介绍了少样本语义解析，并基于非注释数据引入联合训练、有约束的解码、自训练和重新表述这四种技术进行了自动方法来提高语义解析性能。结果表明，该方法在夜间数据集上提供了新的最优结果，并在新的语义解析数据集上提供了非常令人信服的少样本结果。

    Apr, 2022

  • 跨表征学习的序列标注解析

    本文将解析问题作为多任务学习来探究，通过添加解析范式作为辅助损失，在其他范式表现中保持一致提高性能，探讨了一种 MTL 序列标记模型，以几乎不损失性能和速度的代价解析两个表示，总体结果表明，平均来说，具有属于成分解析的辅助损失的 MTL 模型比单任务模型高 1.14 F1 点，而用于依赖解析的辅助损失提升 0.62 UAS 点。

    Jul, 2019

  • 多任务序列到序列学习

    本文探讨了序列到序列模型下的多任务学习问题，主要包括共享编码器和解码器的三种设置，结果表明使用少量的解析和图像标题数据训练模型可以有效地提高翻译质量并在一些测试中实现新的最优结果，并揭示了自编码器和跳越思考等两种无监督学习目标在多任务学习上的有趣属性。

    Nov, 2015

  • 基于半监督多任务学习的序列标注

    本文提出了一种序列标注框架，采用辅助训练目标，并通过学习预测数据集中每个词周围的单词进行语言建模，以此学习通用的语义和语法组合模式，并在不需要额外标注或未标注数据的情况下，实现在多个序列标注任务上取得一致的性能提升。

    Apr, 2017

  • 半监督序列自编码器语义解析

    我们提出了一种新颖的半监督方法，应用于序列转换和语义分析。该方法包含基于生成模型的无监督成分，在该模型中，潜在的句子生成不成对的逻辑形式，我们将此方法应用于许多语义解析任务，重点关注训练数据标记不足的领域，并使用合成逻辑形式扩充这些数据集。

    Sep, 2016

  • 从语义标记中我们能学到什么？

    本研究探索使用多任务学习的效果，其中将语义标注作为三种不同自然语言处理任务（词性标注，通用依赖解析和自然语言推理）的辅助任务。相比于全神经网络共享和部分神经网络共享，我们发现 “学习共享什么” 的环境中表现良好，特别是在所有任务中表现出一致的增益。

    Aug, 2018

  • 口语理解的实用语义解析

    本文介绍了一个基于转移学习的可执行语义分析框架，并在不同领域的数据集上进行了实验，表明可执行语义分析可以统一自然语言处理的不同领域，例如问答 (Q&A) 和口语理解 (SLU).

    Mar, 2019

  • 利用层次表示生成面向任务的语义分析合成数据

    本研究探讨了使用预训练去噪序列到序列模型（即 BART）生成神经语义分析的合成数据的可能性，并使用辅助解析器（AP）过滤生成的数据，结果表明这一方法在导航领域的 Facebook TOP 数据集上具有潜力。

    Nov, 2020

  • 语义依存分析的深度多任务学习

    本文介绍了一种基于深度学习的语义依存图形式分析系统，该系统采用效率高且几乎拓扑结构简单的推理方法，通过组合双向 - LSTM 和多层感知机，能够在不使用手工特征或语法的情况下显著提高语义依存分析的技术水平。作者还对多任务学习策略进行了研究，并获得了新的技术成果。

    Apr, 2017