本文介绍了一种利用集成学习方法构建元嵌入（meta-embeddings) 的方式，通过将不同的公开嵌入集合相结合，提高嵌入语义的质量。和单个嵌入集相比，元嵌入可以更好地完成词相似性，词类标注等任务，并且具有更广泛的词汇覆盖。

Aug, 2015

本研究提出基于预训练语言模型的动态情境词向量，能够以语言和非语言环境为依据来表征单词的含义变化，并在四个英文数据集上做出定性和定量分析，以彰显其应用潜力。

Oct, 2020

提出一种无监督的本地线性元嵌入学习方法，使用预先训练好的分布式词嵌入生成更准确的元嵌入，表现优于该领域现有技术，建立新的元嵌入技术的最先进状态。

Sep, 2017

提出了一种新颖的学习技术 ——Delta Embedding Learning 以优化调整单词嵌入，并通过结构化正则化确保了单词嵌入的逐步调整，提高了各种 NLP 任务的性能，并证实调整后的单词嵌入具有更好的语义属性。

Dec, 2018

本文为填补学界在 Meta-embedding learning 系统调查领域的空白着重于分类 Meta-embedding learning 方法，并在讨论其限制和未来研究方向时，探究了该方法在多源嵌入语义中的优势。

Apr, 2022

该研究通过发展一种动态统计模型学习时态感知的词向量表示，并实现了 “对齐问题” 的解决，从而可以可靠地捕捉时间上的语言演变，并在语义准确性和对齐质量方面持续优于现有的时间嵌入方法。

Mar, 2017

本研究探讨了单词级别的语言建模任务，并研究了将基于隐藏状态的短期表示与编码在语言模型的动态权重中的中期表示相结合的可能性。我们将语言建模问题转化为在线学习框架，并通过梯度下降训练元学习器以连续更新语言模型权重，扩展了最近在动态演化权重的语言模型上的实验。

Mar, 2018

本文提出了动态词嵌入的概率框架，通过分析三个历史文本集合，证明了动态词嵌入提供比传统词嵌入更好地适应和更好地捕捉语言变化的有趣模式。

Mar, 2017

该研究提出了一种基于概率的语言模型，可以跟踪个别单词随时间的语义演变，并通过嵌入空间中的潜在轨迹表示单词和上下文。研究发现，该动态模型推断的单词嵌入轨迹更易解释，并且具有更高的预测性可能性。

Feb, 2017

本研究挑战了从预训练语言模型（PLMs）中获得句子嵌入所必须的显式单字限制的普遍观点，并通过实验证明了这种方法对于判别模型或生成型 PLMs 的精调并非必需。在此基础上，我们提出了两种创新的提示工程技术，可以进一步增强 PLMs 原始嵌入的表达能力：假装的思路链和知识增强，并详细研究了导致其成功的潜在因素。

Apr, 2024