研究神经机器翻译模型和单语模型在表征词汇相似性和语法角色方面的性能，结果表明，神经翻译模型在捕捉概念的本体论状态方面比单语模型更胜一筹。

Oct, 2014

Nugget 是一种将语言编码为基于动态选择的子集输入标记的表示方法，通过自动编码和机器翻译等任务学习这些紧凑单元来直观地将语言分成有意义的单元，并在涉及语义比较的任务中明显优于相关方法，同时该方法还允许扩大语言模型的上下文窗口，为未来的语言模型打开了新的前景。

Oct, 2023

采用标签 - 词汇联合嵌入法和注意力机制的词嵌入模型，用于文本分类并保持了词嵌入的可解释性，同时提供了利用其他信息的能力。在多个大型文本数据集上实验表明，该方法在准确率和速度方面均优于现有最先进方法。

May, 2018

该研究探讨神经机器翻译模型所学到的嵌入，在需要同时考虑概念相似性和词汇 - 句法角色知识的任务中，它们的性能优于单语言模型所学到的嵌入。研究结果还表明，词汇扩展算法对嵌入质量的影响很小。

Dec, 2014

该研究提出通过训练简单的循环神经网络从原文本字符序列中直接学习文本表示，并将这些文本嵌入用作监督字符级别文本分段和标记任务的特征，以实现比表面字符 n-gram 更好的结果。

Sep, 2013

我们提出了一种基于标准神经网络架构的简单，高效的令牌嵌入模型，并通过大量未注释的文本学习了令牌嵌入，评估它们作为基于少量注释的数据训练的词性标注器和依存分析器的特征，发现词嵌入在各种上下文窗口和训练集大小下都能一致优于基准预测模型。

Jun, 2017

本文通过对现有单词嵌入方法的特点和分类任务的分析，将单词嵌入方法划分为传统方法和基于神经网络的方法，揭示基于神经网络的单词表示方法相比于传统方法更能捕捉语言的语义和句法规律。实验验证了不同方法的性能差异。

Mar, 2023

本文提出了一种轻量级的卷积神经网络结构，可用于创建句子的定长向量嵌入表示，可应用于构建自然语言处理系统，包括对话代理，经过优化的卷积神经网络架构可显著缩短学习时间，减少参数数量，提高自编码准确率，并通过 SentEval 基准套件评估所建模型所创建的表示，并表明这可以作为流行的词袋表示形式的更好的但资源要求较低的选择。

Aug, 2018

介绍了一种适用于高级自然语言处理的句子向量编码框架，该框架可以从编码器 - 解码器模型中提取具有相似向量表示的常见语义信息的句子 latents 表示。我们将句子表示的应用用于两个不同的任务 -- 句子复述和段落摘要，使其适用于常用的循环框架处理文本。实验结果有助于深入了解向量表示适用于高级语言嵌入。

Sep, 2018

在 1295 种语言的大规模多语言数据集中训练神经网络模型，以研究神经模型对于语言结构所能学习到的广义化程度，发现神经网络模型在语言结构的广义化方面的表现并不好，并会存在误报，但有些表现仍然与语言学中的传统特征非常接近，为了鼓励在这个领域的持续研究，我们发布了多个资源，包括语言表示的多重集合、多语言单词嵌入、映射和预测的语法和形态特征以及提供语言表征的具有语言学意义的评估软件。

Jan, 2023