我们在 SIGMORPHON2019 共享任务中对 UDPip2.0 进行修改，使用预训练的上下文化嵌入 (BERT) 作为网络的附加输入，使用单独的形态特征作为正则化，并合并了同一语言的选定语料库，在词形还原任务中，我们的系统的准确性达到了 95.78，超过所有提交的系统，且在词态分析方面取得了 93.19 的准确度，是一个非常有前途的研究。

Aug, 2019

该综述评估了现有的上下文嵌入模型，跨语言多语预训练，上下文嵌入在下游任务中的应用，模型压缩和分析。

Mar, 2020

该研究应用上下文化词嵌入到 SemEval-2020 Shared Task 1 的词汇语义变化检测中，着重于子任务 2，在两种上下文化体系结构（BERT 和 ELMo）和三种变化检测算法方面，分析了其性能。我们发现，最有效的算法依赖于平均令牌嵌入之间的余弦相似度和令牌嵌入之间的成对距离。他们比强基线模型高出很大的差距，但是有趣的是，选择特定算法取决于测试集中金标准分数的分布。

Apr, 2020

本文描述了我们的系统（HIT-SCIR），该系统提交给 CoNLL 2018 共享任务，涉及从原始文本到通用依赖的多语言解析。我们基于斯坦福的获胜系统进行提交和进行了两个有效的扩展：1）将深度上下文化词嵌入到词性标记器和解析器中；2）集合使用不同初始化的解析器进行训练。我们还探索了不同的合并树库的方法以进行进一步的改进。开发数据上的实验结果显示了我们方法的有效性。在最后的评估中，我们的系统在 LAS（75.84％）上排名第一，并大幅跑赢了其他系统。

Jul, 2018

本研究使用 ELMo 和 BERT 作为最新的上下文化词嵌入方法，在开放领域的论据搜索中进行了实验。我们首次展示了如何利用上下文化词嵌入的能力，对主题相关的论据进行分类和聚类，并在多个数据集和任务中取得了令人印象深刻的结果。

Jun, 2019

本文提出一种使用无监督预训练的深度上下文嵌入的多语言转移方法，可以提高零样本和少样本学习的依赖解析的效果。实验结果表明，该方法在六种测试语言中持续优于之前的最新技术。

Feb, 2019

本文对多语种命名实体识别和词性标注任务中预训练的 BERT、BPEmb 和 FastText 非上下文子词嵌入进行系统性评估，发现对于跨语言和任务而言，BERT、BPEmb 和字符表示的组合效果最佳，但在资源匮乏的情况下，非上下文子词嵌入的表现更加优秀。

Jun, 2019

本研究旨在研究新的语言表示方法（如 ELMo，BERT）在医疗概念提取方面的应用，比较这些方法与传统词嵌入方法（word2vec，GloVe，fastText）的性能表现，并探讨将这些表示方法应用于医疗任务的可能性。研究结果表明，基于大型医学语料库的上下文嵌入方法表现出色，优于现有所有方法。此外，与传统词表示相比，上下文嵌入方法还包含有价值的语义信息。

Feb, 2019

本文使用多语言 OSCAR 语料库训练单语境化词嵌入 (ELMo) 以进行词性标注和解析任务。研究结果表明，相比于基于 Wikipedia 的嵌入，OSCAR 训练的嵌入在五种中资源语言中表现更好，并超越了多语言 Wikipedia 嵌入的性能。

Jun, 2020

本文通过经验分析，将提到的未知名称根据新奇性和域外评估进行分离，并证明了最新情境嵌入模型在发现前所未见的名称方面特别有益，尤其是在域外评估中。

Jan, 2020