本文提出了使用字符和形态级别单词分解学习单词表示的若干结构，并将这些表示法纳入一种新颖的机器翻译模型中，通过一个硬注意力机制联合学习单词对齐和翻译，从而提高 morphologically rich languages 翻译成英语的机器翻译的性能，相对强基线模型提高了 1 到 1.5 个 BLEU 分数。

Jun, 2016

本文提出了一种新颖的基于神经网络的架构，用于引导组合跨语言词表示，利用双语和单语数据，通过单语包含准则来实现，评估结果超越了以前的方法，具体的，在英语到德语和德语到英语的子任务中获得了 92.7％和 84.4％的准确度，较之以前的最高值，前者提高 0.9％，后者提高了 7.7％的准确度和 33.0% 的误差降低。

Dec, 2014

本论文研究了如何在语言的概率模型中考虑单词的子结构。从单词的形态学基本概念出发，提出了三种不同类型的语言模型。在 n 元语言模型中，提出了一种基于复合词分解的 Bayesian 模型，还开发了一种新的分布式语言模型。在这两种情况下，论文表明考虑单词的子结构可以提高模型性能和机器翻译的质量。此外，我们还探讨了一些可以自动学习语言词根及语言特征的模型。这些方法应用在闪族语言上表现出更好的结果。

Aug, 2015

通过基于多语种数据和联合嵌入的分布式假设扩展学习语义表示的新技术，学习出在跨语言上语义等价的句子之间高度对齐而在不相似的句子之间保持足够距离的表示。此方法不仅适用于单词层面，还可以对文档进行语义层面的表示学习。在两个跨语言文档分类任务上，我们的模型都能胜过之前的最佳成果，并通过定性分析和枢轴效应研究证明了我们学习到的语义表示合理且能够捕捉跨语言语义关系。

Apr, 2014

我们提出一种新颖的形态学感知概率模型用于双语词典归纳，该模型以结构化方式联合建模词元翻译和屈折形态学。我们的模型利用词元是意义的关键词汇单位而屈折形态学提供额外句法信息的基本语言直觉。这种方法导致了显着的性能改进 - 在监督场景和弱监督场景下，跨 6 种语言对平均准确性提高了 19% 和 16%。作为另一个贡献，我们强调现代 BLI 所面临的忽视屈折形态学的问题，并提出三个改进任务的建议。

Nov, 2020

本文提出了一种通过分层潜在变量模拟词态变化过程的方法，通过组合两个潜在表示（一个连续的表示和一组（近似）离散特征），逐个字符生成单词，从而使神经机器翻译在三种形态丰富的语言中的精度和资源利用率得到了提高。

Oct, 2019

本文提出了一种新的语言模型，通过序列组合树来取代之前基于线性链的假设，消除了结构上的任何假设，利用对比熵作为评估度量标准对新模型进行评估，相较于以往基于递归神经网络的模型，在失真级别上获得了超过 100% 的改进。

Apr, 2016

本文介绍了一种联合模型，能够对单词进行无监督的形态分析，并学习从形态素到单词嵌入的字符级组成函数。该模型对单词进行分割，并根据其预测上下文单词的能力对每个分割部分进行加权。我们的形态分析与专门的形态分析器相当，并且在语法类比回答任务中表现优异。最后，我们表明，将形态学明确纳入字符级模型有助于它们生成与人类判断更相关的未知单词的嵌入。

Jun, 2016

该研究提出了一种新颖的概率模型来捕捉单词形成的分析和合成的含义，利用神经网络的向量组合方法，共同学习单词的形态划分和语义语素的分布式向量，提高了单词的分割准确率和语素 F1 指标 3% 至 5%。

Jan, 2017

提出了一种新颖的基于词形的约束方法，通过使用简单的语言特定规则来改进分布向量空间的语义质量，这种方法可以提高低频词估计的准确性，并在解决语言理解任务的长尾现象方面取得显著的效果。

Jun, 2017