ACLNov, 2017

用于序列到序列学习的经典结构化预测损失

PDF
TL;DR本文研究了一系列经典目标函数，并将它们应用于神经序列到序列模型的训练，在 IWSLT'14 德语 - 英语翻译和 Gigaword 自动摘要等任务上达到了最新的最优结果。
neural attention modelsstructured predictionsequence-to-sequence modelsiwslt'14 german-english translationgigaword abstractive summarization
发现论文，激发创造
  • 通过最优输运改进序列到序列学习

    本研究提出了一种基于全局序列级别的指导和最优传输的解决方案来提高序列到序列模型的性能并捕捉长程语义结构，经实验证明该方法在多种 NLP 任务中能够实现一致的改进。

    Jan, 2019

  • 神经序列模型端到端训练的连续松弛束搜索

    本报告提出了一种新的神经序列模型的训练方法来更好地利用束搜索算法，该方法通过引入介绍连续逼近束搜索的新方法来形成一个次微分的替代目标，在 Named Entity Recognition 和 CCG Supertagging 两个序列任务的实验中，优化此新的训练目标能够比交叉熵训练的贪婪解码和交叉熵训练的束搜索解码基线都得到实质性的改善。

    Aug, 2017

  • 序列到序列学习作为 Beam-Search 优化

    该研究介绍了一种基于全局序列评分学习的 Sequence-to-Sequence (seq2seq) 模型和波束搜索训练方案，通过避免局部训练的传统偏差问题，统一训练损失和测试时间使用，并保留 seq2seq 的有效训练方法。在单词排序、解析和机器翻译三个不同的序列到序列任务中，该系统优于基于注意力的 seq2seq 系统高度优化的系统和其他基准线。

    Jun, 2016

  • 神经序列到序列学习的赌博式结构化预测

    该研究提出利用递归神经网络中的注意力机制将线性 bandit 学习推广到神经序列到序列学习问题中，并介绍如何将控制变量结合到学习算法中以实现方差缩减和改进推广，通过对神经机器翻译任务的评估，表明通过领域适应和模拟 bandit 反馈可实现高达 5.89 BLEU 点的改进。

    Apr, 2017

  • 循环神经网络中的序列级别训练

    提出了一种新的序列级训练算法，使自然语言处理应用程序使用的语言模型在生成文本时更加强大和高效。这种方法能够直接优化在测试期间使用的指标，并且在三个不同的任务中，我们的方法优于其他几种基准方法。同时，在其他基准方法使用波束搜索时，我们的方法也具有竞争力，而且速度快几倍。

    Nov, 2015

  • 神经网络序列到 序列学习

    本文提出了一种基于深度神经网络（DNN）的序列学习方法，使用多层长短时记忆（LSTM）解码目标序列并展现了其在英法翻译任务中优于传统短语模型翻译的成果，同时还发现调整源语句中单词的顺序可以有利于优化问题的解决。

    Sep, 2014

  • 语音识别序列到序列模型中的监督式注意力

    本文研究序列到序列模型中注意力机制，通过监督学习的方法对注意力权重和输出对齐进行训练，实验结果表明，对齐学习对模型性能的提升至关重要。

    Apr, 2022

  • 基于半监督多任务学习的序列标注

    本文提出了一种序列标注框架，采用辅助训练目标，并通过学习预测数据集中每个词周围的单词进行语言建模，以此学习通用的语义和语法组合模式，并在不需要额外标注或未标注数据的情况下，实现在多个序列标注任务上取得一致的性能提升。

    Apr, 2017

  • 以意传意，不在于言辞：面向口语理解的序列损失训练

    本文提出了基于 SLU 度量标准的非可区分序列损失作为语义误差的代理，并使用 REINFORCE 技巧训练 ASR 和 SLU 模型。作者展示了自定义序列损失训练在开放 SLU 数据集上的最新技术水平，并在大型专有数据集上显示了 6％的相对改进，同时提高了 ASR 和 NLU 性能指标。作者还展示了如何使用语义反馈单独更新 ASR 和 SLU 模型。

    Feb, 2021

  • 序列预测任务损失估计

    本文提出了一种新的方法来推导可微的替代损失函数，以用于训练包含每个输入 - 输出对的得分的模型，并在语音识别任务中证明了其有效性。

    Nov, 2015