本研究提出一种多任务学习模型，可以同时训练多种语言学层次的任务，并通过一种逐步增加深度的策略来解决越来越复杂的任务。该模型使用一个简单的正则化项来实现在提高某一任务的损失函数时，不影响其他任务的学习效果。实验结果表明，这个端到端的模型在标签、句法分析、相关性与蕴含等五种任务上取得了最先进或有竞争力的结果。

Nov, 2016

LEMMING 是一个模块化的对数线性模型，它同时建模了词形还原和标注，并支持任意全局特征的整合。它可通过带有金标准标签和词元注释的语料库进行训练，无需依赖形态学词典或解析器。LEMMING 在六种语言的基于令牌的统计词形还原中创造了新的最先进表现；例如，对于捷克语的词形还原，我们将错误率从 4.05 降低了 60%，至 1.58。我们还提供实证证据表明，联合建模词法标记和词元对彼此是有益的。

May, 2024

通过使用字符级和词级嵌入，带有双向 RNN 的 LemmaTag 特征较少的神经网络架构，共同为句子生成词性标记和词素。该模型在捷克语，德语和阿拉伯语的词性标记和词素化方面的准确性超过了最先进的水平。

Aug, 2018

该研究使用阿拉伯语探讨了联合建模的方法，具体包括字符级别的词汇化特征和字词级别的非词汇化特征，可以更好地将模糊的语言特征解模糊，进一步提高模型的效果和词义的准确性。该方法在现代标准阿拉伯语和阿拉伯埃及话方言的翻译中都取得了相对较好的实验结果。

Oct, 2019

本文通过实证研究，考察了在六种不同的语言上，使用不同的形态学特征开发上下文词形还原器对下游表现的影响，并发现：（i）为词形还原器提供细粒度的形态学特征在训练时并不那么有益，即使对于词汇连接语言；（ii）实际上，现代上下文词表示似乎隐式地编码了足够的形态信息，以获得无需查看任何明确形态信号的良好上下文词形还原器；（iii）最佳的领域外词形还原器是使用简单的 UPOS 标签或者没有训练形态学的模型；（iv）目前的词形还原评估实践并不足以清晰地区分模型之间的差异。

Feb, 2023

本文介绍了一种联合模型，能够对单词进行无监督的形态分析，并学习从形态素到单词嵌入的字符级组成函数。该模型对单词进行分割，并根据其预测上下文单词的能力对每个分割部分进行加权。我们的形态分析与专门的形态分析器相当，并且在语法类比回答任务中表现优异。最后，我们表明，将形态学明确纳入字符级模型有助于它们生成与人类判断更相关的未知单词的嵌入。

Jun, 2016

本研究提出了一种模型，通过联合学习 NER 和 MD 标签器来减轻需要 MD 工具的需求，并且可以在不同语言之间独立进行，实现了命名实体识别性能的提高和竞争性的形态消歧定位器表现。

Jul, 2018

本文介绍了一种利用神经混合图模型构建并预测词形变化的方法，并将其与传统的形态学变化或表面实现进行了比较，证明了将语言学驱动的潜在变量纳入 NLP 模型的实用性。

May, 2019

该论文旨在研究和探索使用任务和语言之间的相关性来构建需要较少手动注释数据的自然语言处理模型，通过研究 60 种语言的多种 NLP 任务，该论文表明了联合多任务和多语言建模的潜力，并暗示从这些模型中可以获得语言学洞见。

Sep, 2018

在低资源环境中，提出了一种用于模拟复杂形态的框架解决方案，该方案采用了双层 Transformer 架构来编码输入端的形态学信息。同时通过多标签多任务训练和基于 beam search 的解码器，提高了机器翻译性能，并使用通用形式的注意力增强方案来整合预训练语言模型和源语言和目标语言之间的词序关系建模。通过评估多种数据增强技术，提高了在低资源环境中的翻译性能，最终在基纳卢旺达语 - 英语翻译任务中取得了有竞争力的性能，希望我们的结果能够鼓励更多在低资源的神经机器翻译中使用明确的形态学信息以及所提出的模型和数据增强方法。

Apr, 2024