ACLNov, 2016

硬性单调注意力下的形态变化生成

PDF
TL;DR提出了一种神经模型，可用于形态学词形变化生成，该模型采用硬注意机制，基于单词中的字符与其变形中字符之间通常发现的近单调对齐。在三个以前研究过的形态学词形变化生成数据集上评估了该模型，并展示了它相对于以前的神经和非神经方法在各种设置下提供的最新结果。最后，对该机制的硬和软注意力模型学习到的连续表示进行了分析，从而阐明了这些模型提取的特征。
neural modelmorphological inflection generationhard attention mechanismstate of the art resultscontinuous representations
发现论文，激发创造
  • 基于 monotonic attention 的字符级转导的精确硬对齐

    本文针对常见的字符级字符串转换任务，如字形到音素转换和形态变化，探讨单调性是否真的是这些任务中的有益归纳偏差，提出了一种强制严格单调性的硬注意力序列到序列模型，并结合动态规划精确计算所有单调位置对齐的边际化，取得了形态变化方面的最新成果。

    May, 2019

  • 字符级转导的硬非单调注意力

    研究了字符串之间的转换，提出了一个新的算法基于神经再参数化古典的 IBM Model 1 模型，证明了难处理的非单调注意力在这项任务上也可以用硬式处理来解决。

    Aug, 2018

  • 低资源形态变化的极限探究

    提出一种针对低资源语言的自动词形变化生成方案，在神经网络方法、注意力机制、跨语言转移学习等方面做了改进并实现了 15% 的性能提升。发现了语言类别相似和通用表示是跨语言转移学习成功的关键因素。

    Aug, 2019

  • 偏向于单调性的 Transformer 注意力

    本文研究自然语言处理中序列到序列任务的单调注意力特性，并介绍了一种与标准注意力机制兼容的单调损失函数，经过实验表明可以在一定程度上实现单调性，但性能的提升并不是非常显著。

    Apr, 2021

  • 通过强制单调对齐实现在线和线性时间注意力

    研究提出一种可用于在线设置中，使得注意力机制在线性时间内计算的可微分方法，- 该方法通过学习单调对齐来解决软注意机制在线性时间复杂度下难以实现的问题，并在句子摘要、机器翻译和在线语音识别领域实现了有竞争力的结果。

    Apr, 2017

  • 神经生成的即时注意力调节

    本研究通过分析语言模型在句子级别的注意力模式，发现神经退化可能与注意机制对任务特征的学习不足有关。因此，提出了一种称为‘实时注意力调节’的方法，该方法在推理过程中向注意力计算注入学习先验知识，有效地改善了语言模型生成的文本的流畅性、创造性和常识推理能力，并显著减少了句子级别的重复。

    Jan, 2021

  • 基于逐步单调注意力的神经 TTS 鲁棒序列到序列声学建模

    提出了一种基于步骤单调注意力方法，将严格单调性和强制的注意力硬约束引入到序列到序列的声学建模中，以改善神经 TTS 中的模型鲁棒性并获得显著的性能提升。

    Jun, 2019

  • 形态学屈折的最小监督

    该研究使用少量标记的数据引导标注词形变化，利用不同类型的规律，通过类比词标记和距离对词配对，证明了手工标记许多示例可能是不必要的。

    Apr, 2021

  • 使用字符序列到序列学习生成形态变化

    本研究提出了一种基于神经编码器解码器模型的方法，用于生成 Morphological inflection generation 任务中给定基本形式的词汇对应的特定语言变换的变形形式，并在 7 个形态丰富语言的数据集上进行评估，获得了与现有的最先进的基于变化生成的模型相比更好或可比的结果。

    Dec, 2015

  • 形态变化的语境化

    本文介绍了一种利用神经混合图模型构建并预测词形变化的方法，并将其与传统的形态学变化或表面实现进行了比较，证明了将语言学驱动的潜在变量纳入 NLP 模型的实用性。

    May, 2019