本文提出了一种针对汉字、日语、韩语等语言内所含罕见字符提高识别准确度的模型，它基于字符的构成并通过卷积神经网络生成视觉上的字符嵌入。实验结果表明该模型可更好地处理具有稀有字符的语言文本，并且能够学习集中于传达语义信息的字符部件，从而生成具有视觉一致性的字符嵌入。

Apr, 2017

本论文提出了一种可扩展的方法，将组成形态学表示集成到基于向量的概率语言模型中，并在语言模型因词汇而被适当地实现以实现内部和外部评估，在一些语言上进行实验研究并展示结果，表明我们的模型学习了形态学表示，在词相似性任务上表现出色且使困惑度大幅降低，用于转化大词汇量的形态丰富语言时，我们的模型相对于使用回退 N-gram 模型的基线系统，可以获得高达 1.2 的蓝点改进。

May, 2014

本文提出了一种新的语言模型，通过序列组合树来取代之前基于线性链的假设，消除了结构上的任何假设，利用对比熵作为评估度量标准对新模型进行评估，相较于以往基于递归神经网络的模型，在失真级别上获得了超过 100% 的改进。

Apr, 2016

该研究提出了一种基于转移的依存句法分析器，使用卷积神经网络来从字符中组合单词表示。字符组合模型在解析结合语言方面表现出显著的改进，这些改进甚至比使用额外数据训练的预训练词嵌入模型更好。在 SPMRL 数据集上，与之前最好的贪心解析器相比，我们的系统平均提高了 3％的表现。

May, 2017

使用长期短期记忆（LSTM）、字符信息和单词嵌入等技术，设计了一种基于字符的语言模型，有效提高了对单词的建模能力，优于传统基于单词的模型。

Apr, 2017

本研究提出了基于结构化词典的完全组成的输出嵌入层，用于改善语言模型在新域和任务中的适应能力问题，为我们所知，这是第一个单词级别的语言模型，其大小不取决于训练词汇表，并通过低频词的样本效率来提高精度。

Sep, 2020

本研究利用基于门控交互的 LSTM 拆分相依度 DI 度量，探索 LSTM 构成性行为的序列表现层次结构，发现 DI 与语法距离有关；为探索这些构成性表现在训练过程中的归纳偏差，进行了简单的合成数据实验，支持一种关于如何自底向上学习层次结构的假设。

Oct, 2020

文章介绍了一种可以精确和控制地针对句向量中的组合含义信息的方法，利用一个专门的句子生成系统，创建遵循特定句法、语义和词汇约束条件的带注释的大型句子集。实验表明，这种方法能够从多种现有的句子表示模型中提取有用的信息，有助于理解这些系统对句子信息的捕获能力。

Sep, 2018

本文探讨了现代语言模型是否能够学会表示复合短语中的复合性和非复合性，通过预测长语的内部表示来证明了现代语言模型可以预测一个父短语的表示。同时，通过多种分析，揭示了不同类型的语言模型何时产生了复合表示，并探讨了未来建模工作的可能性。

Oct, 2022

本研究详细介绍了一个基于丰富的单词嵌入的组成分布式框架，旨在促进句子中单词之间的交互，并使用环境中的句法信息来增强向量。研究结果表明，该框架在 MSRPar 任务上取得了具有代表性的结果。

Aug, 2015