ACLFeb, 2023

揭示序列到序列模型在序列标注和结构解析中的真正潜力

PDF
TL;DR本篇论文系统研究了利用包含解码技术的序列到序列模型（Sequence-to-Sequence，简称 S2S）开展的语音识别、命名实体识别、组成性和依赖分析等任务。作者设计和评估了三种不同的线性化模式及相对应的约束解码模式，进行了实验比较，结果表明，使用本文方法的 S2S 模型优于其他采用外部资源的 S2S 方法，并得到了优异的性能。
sequence-to-sequence modelscontained decodinglexiconsdependency parsingconstrained decoding
发现论文，激发创造
  • 序列到序列模型对结构泛化的困难

    通过实验证明，Seq2Seq 模型在英语句法分析、语义分析和文本之间的转换任务中，普遍存在推广的普适性较低的问题，但是在建立了语言知识的神经符号模型中，这些限制往往可以克服。

    Oct, 2022

  • 语义标记实现组合泛化

    在语义解析中，提出了一个新的解码框架，该框架保留了序列到序列模型的表现力和通用性，同时具有类似词典的对齐和解开信息处理，能够提高模型的组合泛化能力。

    Oct, 2020

  • 编码增强的序列到序列预训练模型用于语言理解与生成

    本文研究了现有的 seq2seq 预训练模型中存在的问题，提出了一种基于编码器自监督学习的预训练策略 E2S2，并通过在多个自然语言理解和生成任务中的实验证明了其可行性及有效性。

    May, 2022

  • 少样本神经序列建模的词汇学习

    通过引入词汇翻译机制并使用多种词典学习算法来初始化这种机制，可以提高序列建模任务的系统化泛化能力。

    Jun, 2021

  • 序列转序列模型中更好的解码和语言模型集成

    该研究分析了一个基于注意力机制的序列到序列语音识别系统，提出了解决其预测过于自信和产生不完整转录的问题的实用解决方案，并在没有语言模型的情况下，其词错误率为 10.6％，与 trigram 语言模型一起达到了 6.7％的词错误率。

    Dec, 2016

  • 神经语义解析的迁移学习

    本文提出了一种基于多任务框架和序列到序列模型的语义解析方法，旨在解决语料数据不足限制，较少标注数据任务可以通过从大量标注数据任务中传递学习的方式得到提升，实验结果在自己的数据集中获得了 1.0% 到 4.4% 的准确度提升，在 ATIS 语义解析任务中，准确度提升了 2.5% 到 7.0%。

    Jun, 2017

  • 为句子校正调整序列模型

    对序列到序列方法进行的纠错实验中发现，基于字符的模型通常比基于单词的模型和通过卷积编码子单词信息的模型更有效，并且将输出数据建模为一系列差异可提高效果，而我们最强的序列到序列模型比最强的基于短语的统计机器翻译模型在数据相同的情况下得分提高了 6 M2 点（0.5 GLEU）。此外，在标准 CoNLL-2014 设置的数据环境中，我们证明了建模（并调整）差异可以使用更简单的模型和 / 或比以前的序列到序列方法少得多的数据获得类似或更好的 M2 得分。

    Jul, 2017

  • 基于自顶向下树形解码与句法连接的神经机器翻译与句法分析

    本文提出了一种基于 DRNN 的序列到树的 NMT 模型 (称为 Seq2DRNN)，该模型在树结构解码中结合了序列编码器和句法感知机制，并使用语法结构信息从而能够生成更流畅的翻译结果，同时可以进行成分句法分析。

    Sep, 2018

  • 面向任务型对话的基于组合表示的神经网络语言生成的约束解码

    本文提出使用树状结构的语义表示来改进对话系统中基于任务的自然语言生成问题，并介绍了一个挑战性的数据集，并展示了基于此表示的编码方法以提高语义正确性的结果。

    Jun, 2019

  • 将序列标注转化为 Seq2Seq 任务

    本文通过超过 1000 次实验，研究了 14 种不同的格式，发现其中一个新的格式既简单又有效，在多语言情况下也表现出显著的优势，并且几乎没有幻觉问题。这些发现为我们解决序列标注任务提供了强有力的经验基础。

    Mar, 2022