本研究评估了 12 种语言模型在 17 个基准数据集上的效能，研究结果提供了各种语言模型的优缺点，帮助研究人员和从业人员选择最合适的模型。

Apr, 2023

采用对比度表示学习方法的实体和事件共指解析技术，通过仅在推理时进行 n 个转换器计算的对比度学习技术，实现了对 ECB + 语料库关键指标的最先进结果和其他指标的竞争性。

May, 2022

本研究探讨了基于流行的嵌入方法训练矢量表示的实体注释新闻语料库的应用，以预测实体参与新闻事件，并测试了一些嵌入矢量的组合模式以支持多参与实体事件查询。我们发现，虽然单一的基于词嵌入的组合模式并不能完全达到传统词共现网络的水平，但不同的嵌入方法对不同类型的关系进行了建模，因此有可能实现集成方法。

May, 2019

本文提出了一种基于神经网络结构的跨文档匹配方法，能够有效地进行实体和事件的引用关系识别，其中考虑了实体和事件的上下文以及谓词 - 参数结构等因素。该方法在 ECB + 语料库上的表现优于之前的状态 - 最优事件 - coreference 模型，并提供了该语料库上的第一个实体 - coreference 结果。

Jun, 2019

本研究旨在探究深度上下文嵌入（例如 BERT）相对于传统预训练嵌入（例如 GloVe）和一个更简单的基准（随机词嵌入）在训练集大小和语言任务的语言特性等方面，性能是否有大幅提升。我们发现，这两种更简单的基准线上也能匹配行业规模的数据中的上下文嵌入，并且通常在基准任务中具有 5-10％ 左右的精度，此外，我们还确定了一些数据特性，这些特性针对于特定的任务使得上下文嵌入具有大幅提升的表现：包含复杂结构的语言、具有歧义的词汇使用、及在训练中从未出现过的单词。

May, 2020

本研究针对阅读理解任务过往的机器学习研究，发现所使用的预训练词向量和测试时的未登录词处理方法等看似微小的选择，比起架构选择对最终性能的影响更大。我们对这些选择进行系统探讨，为从事该领域研究的学者提供建议。

Mar, 2017

本文研究了在大型语料库上联合训练单词和实体嵌入的方法以及它们在各种自然语言处理任务上的表现，发现仅仅在注释语料库上训练流行的单词嵌入模型无法创建具有可接受性能的实体嵌入，而我们的实体共现图嵌入方法能够恢复性能。

Feb, 2019

本研究旨在研究新的语言表示方法（如 ELMo，BERT）在医疗概念提取方面的应用，比较这些方法与传统词嵌入方法（word2vec，GloVe，fastText）的性能表现，并探讨将这些表示方法应用于医疗任务的可能性。研究结果表明，基于大型医学语料库的上下文嵌入方法表现出色，优于现有所有方法。此外，与传统词表示相比，上下文嵌入方法还包含有价值的语义信息。

Feb, 2019

本文提出一种将有效的顺序预测范例用于跨文档指代消解的新模型，通过增量式将提及点组合成集群表征，并预测提及点与已构建的集群之间的链接，近似高阶模型，既成为实体和事件指代消解领域中具有竞争力的解决方案，也提供了不同输入和表示类型在对指代消解过程中的重要性的新见解。

Apr, 2021

该综述评估了现有的上下文嵌入模型，跨语言多语预训练，上下文嵌入在下游任务中的应用，模型压缩和分析。

Mar, 2020