该研究提出了一种新颖的概率模型来捕捉单词形成的分析和合成的含义，利用神经网络的向量组合方法，共同学习单词的形态划分和语义语素的分布式向量，提高了单词的分割准确率和语素F1指标3%至5%。

Jan, 2017

本研究应用神经序列到序列模型解决NLP中复杂词形派生问题，并介绍派生范式完成任务。基于优于非神经基准线16.4%的结果，我们的神经模型学会了各种派生模式。但是，由于派生性构词涉及语义、历史和词汇考虑，因此未来需要更多工作来实现和生成机制的性能平衡。

Aug, 2017

本文研究字符级别模式识别神经网络所学习的规律以及相对于手动标注的词语分割的重叠性，并使用卷积神经网络和双向长短期记忆网络对三种不同的语言进行形态标记任务的评估和比较，证明这些模型可以隐式地发现可理解的语言规则。

Aug, 2018

本文介绍了一种利用神经混合图模型构建并预测词形变化的方法，并将其与传统的形态学变化或表面实现进行了比较，证明了将语言学驱动的潜在变量纳入NLP模型的实用性。

May, 2019

本文旨在探究利用词嵌入技术在捷克语中词源衍生关系的应用，通过建立捷克语词汇网络DeriNet，计算词向量之差并利用无监督聚类算法将这些词汇分组，从而自动分类捷克语词源衍生关系，实验结果表明这些分类与人工注释的语义类别相当吻合

Jun, 2019

我们研究了一个语法归纳问题的正式化，其将句子建模为由复合概率上下文无关文法生成。与传统的学习单一随机文法的方式不同，我们的文法的规则概率由每个句子的连续潜变量调制，这在传统上下文无关假设以外引出了边际依赖性。这种文法的推理通过折叠变分推理实现，在这种方法中，连续变量上放置平化的变分后验，并通过动态规划边际化潜在树。针对英语和中文的实验表明，与最近的最先进方法相比，我们的方法在无监督语法分析评估时非常有效。

Jun, 2019

我们提出一种新颖的形态学感知概率模型用于双语词典归纳，该模型以结构化方式联合建模词元翻译和屈折形态学。我们的模型利用词元是意义的关键词汇单位而屈折形态学提供额外句法信息的基本语言直觉。这种方法导致了显着的性能改进-在监督场景和弱监督场景下，跨6种语言对平均准确性提高了19%和16%。作为另一个贡献，我们强调现代BLI所面临的忽视屈折形态学的问题，并提出三个改进任务的建议。

Nov, 2020

本文通过实证研究，考察了在六种不同的语言上，使用不同的形态学特征开发上下文词形还原器对下游表现的影响，并发现：（i）为词形还原器提供细粒度的形态学特征在训练时并不那么有益，即使对于词汇连接语言；（ii）实际上，现代上下文词表示似乎隐式地编码了足够的形态信息，以获得无需查看任何明确形态信号的良好上下文词形还原器；（iii）最佳的领域外词形还原器是使用简单的UPOS标签或者没有训练形态学的模型；（iv）目前的词形还原评估实践并不足以清晰地区分模型之间的差异。

Feb, 2023

本研究提出了对于近现代Transformer架构的自回归语言模型的一种准确的每个初始输入token的线性分解，并使用其定义概率分布，以分离出特定的输入token对于后续单词序列的影响；回归实验表明，基于Transformer的语言模型主要依赖于搭配的联想，其次是基于语言学素材的综合推断，例如句法依赖关系和指代关系，以确定下一个单词的概率。

May, 2023

该研究引入了一种新颖的开放词汇语言模型，包含两个层次：词级和序列级，并通过对字符的表示以及全局的序列级别上下文调整，使模型直接处理字符序列，而不是子词或词级别的词汇表，取得了比强基准表现更好的效果，并且具有文本破坏和域移位的鲁棒性。

May, 2023