使用字符序列到序列学习生成形态变化

Dec, 2015

使用字符序列到序列学习生成形态变化

Morphological Inflection Generation Using Character Sequence to Sequence Learning

Manaal Faruqui, Yulia Tsvetkov, Graham Neubig, Chris Dyer

TL;DR本研究提出了一种基于神经编码器解码器模型的方法，用于生成Morphological inflection generation任务中给定基本形式的词汇对应的特定语言变换的变形形式，并在7个形态丰富语言的数据集上进行评估，获得了与现有的最先进的基于变化生成的模型相比更好或可比的结果。

Abstract

morphological inflection generation is the task of generating the inflected form of a given lemma corresponding to a particular linguistic transformation. We model the problem of inflection generation as a character sequence to sequence learning problem and present a variant of the

发现论文，激发创造

使用显式形态表示的单模型编码器-解码器用于重构

提出利用神经编码器-解码器模型对形态学再生成的任务进行建模，进一步提出利用基于编辑树的输出自动校正方法，降低对训练数据量的依赖，实现了对低资源语言的形态学再生任务的优化。

Jun, 2016

CoNLL-SIGMORPHON 2017 共享任务：52种语言的通用形态还原

该研究以 CoNLL-SIGMORPHON 2017 共享任务为基础，使用监督型形态生成技术在 52 种语言上进行训练和测试，结果表明神经序列到序列模型能够在小训练数据集上取得高性能，但由于不同偏置和数据增强策略导致预测的屈折形式集合不一，因此仍需要进一步的改进措施。

Jun, 2017

派生形态的范式完成

本研究应用神经序列到序列模型解决NLP中复杂词形派生问题，并介绍派生范式完成任务。基于优于非神经基准线16.4%的结果，我们的神经模型学会了各种派生模式。但是，由于派生性构词涉及语义、历史和词汇考虑，因此未来需要更多工作来实现和生成机制的性能平衡。

Aug, 2017

一种用于上下文形态变化的结构化变分自编码器

使用生成型潜变量模型和变分推断方法解决未标注数据下降低资源被限制的语言对词形变化生成的研究问题，实验中得到一些语言中 10% 准确性的提高。

Jun, 2018

形态变化的语境化

本文介绍了一种利用神经混合图模型构建并预测词形变化的方法，并将其与传统的形态学变化或表面实现进行了比较，证明了将语言学驱动的潜在变量纳入NLP模型的实用性。

May, 2019

低资源形态变化的极限探究

提出一种针对低资源语言的自动词形变化生成方案，在神经网络方法、注意力机制、跨语言转移学习等方面做了改进并实现了15%的性能提升。发现了语言类别相似和通用表示是跨语言转移学习成功的关键因素。

Aug, 2019

神经形态变化中的搜索错误探寻

该研究探讨了神经序列到序列模型在语言生成任务中的应用，发现在单词级任务中，准确推断这些模型会发现空字符串常常是全局最优解，但在形态学变化的情况下，空字符串几乎不是模型最可能的解，且贪婪搜索通常能找到全局最优解。这表明，许多神经模型的不良校准可能来自于特定任务的特征，而非这些模型在语言生成方面的普遍不适用性。

Feb, 2021

Transformer能通过Wug测试吗？调整神经形态变化模型中的复制偏差

研究表明，将深度学习序列模型用于形态学变化的任务可以取得良好的结果。然而标准模型，如Transformer，在推广变形模式方面表现很差。为了解决这个问题，我们提出了一种基于子串的生成模型，能够更好地处理之前没有训练过的词形，并在实验中获得了显著的性能提升。

Apr, 2021

(不)解决形态变化：词形重叠人为地提高了模型的性能

使用基于词元的训练-测试分割方法重新评估形态学屈折模型，结果表明对于不同的语言模型的泛化性能有着不同程度的影响，尤其对于低资源语言的影响更大。

Aug, 2021

形态变化：一次现实检验

研究分析了词形变化在子词NLP中的高性能和高可变性的原因，提出了更好反映实际使用情况的数据采样和评估策略，探讨了当前变形系统的泛化能力。

May, 2023