ACLMay, 2019

基于 monotonic attention 的字符级转导的精确硬对齐

PDF
TL;DR本文针对常见的字符级字符串转换任务，如字形到音素转换和形态变化，探讨单调性是否真的是这些任务中的有益归纳偏差，提出了一种强制严格单调性的硬注意力序列到序列模型，并结合动态规划精确计算所有单调位置对齐的边际化，取得了形态变化方面的最新成果。
monotonic transductionneural sequence-to-sequence modelshard attentionlatent alignmentdynamic programming
发现论文，激发创造
  • 字符级转导的硬非单调注意力

    研究了字符串之间的转换，提出了一个新的算法基于神经再参数化古典的 IBM Model 1 模型，证明了难处理的非单调注意力在这项任务上也可以用硬式处理来解决。

    Aug, 2018

  • 偏向于单调性的 Transformer 注意力

    本文研究自然语言处理中序列到序列任务的单调注意力特性，并介绍了一种与标准注意力机制兼容的单调损失函数，经过实验表明可以在一定程度上实现单调性，但性能的提升并不是非常显著。

    Apr, 2021

  • 硬性单调注意力下的形态变化生成

    提出了一种神经模型，可用于形态学词形变化生成，该模型采用硬注意机制，基于单词中的字符与其变形中字符之间通常发现的近单调对齐。在三个以前研究过的形态学词形变化生成数据集上评估了该模型，并展示了它相对于以前的神经和非神经方法在各种设置下提供的最新结果。最后，对该机制的硬和软注意力模型学习到的连续表示进行了分析，从而阐明了这些模型提取的特征。

    Nov, 2016

  • 通过强制单调对齐实现在线和线性时间注意力

    研究提出一种可用于在线设置中，使得注意力机制在线性时间内计算的可微分方法，- 该方法通过学习单调对齐来解决软注意机制在线性时间复杂度下难以实现的问题，并在句子摘要、机器翻译和在线语音识别领域实现了有竞争力的结果。

    Apr, 2017

  • 基于逐步单调注意力的神经 TTS 鲁棒序列到序列声学建模

    提出了一种基于步骤单调注意力方法，将严格单调性和强制的注意力硬约束引入到序列到序列的声学建模中，以改善神经 TTS 中的模型鲁棒性并获得显著的性能提升。

    Jun, 2019

  • 单调块级注意力

    本文介绍了一种名为 MoChA 的注意力机制，该机制可以将输入序列自适应地分成小块，以实现在线和线性时间解码，并在在线语音识别和文档摘要等任务中取得了良好的结果。

    Dec, 2017

  • 单调多头注意力

    本文提出了一种名为 Monotonic Multihead Attention（MMA）的新型注意力机制，可应用于同时翻译的机器翻译任务，并介绍了两种特定于多头注意力的新颖且可解释的延迟控制方法，与最先进的 Milk 方法相比，MMA 具有更好的延迟 - 质量平衡，同时分析了延迟控制对关注范围的影响，通过分析解码器层数和头数对质量和延迟的影响来证明模型的引入。

    Sep, 2019

  • 神经形态字符串转录的模仿学习

    通过模仿学习，使用神经过渡型字符串转换器来进行形态学任务，如词形生成和词形归一化。采用简单的专家策略来消除对字符对齐器或热启动的需求，并在多个基准测试中实现了强大和最先进的性能。

    Aug, 2018

  • 将传统序列到序列模型与编码器 - 解码器神经网络在单调字符串翻译任务上进行比较

    本文研究了使用编码 - 解码神经模型在 OCR 校正、拼写校正、音素转换和词形还原等方面的表现，以及与其他传统方法和更专业的模型进行了比较。

    Oct, 2016

  • 基于 Transformer 的自适应稀疏和单调注意力自动语音识别

    研究将稀疏和单调注意力引入基于 Transformer 的自动语音识别，以克服传统 Transformer 中针对流式识别的自我注意和多头注意的局限性，并在多项基准测试中取得了良好的效果。

    Sep, 2022