本研究旨在研究新的语言表示方法（如 ELMo，BERT）在医疗概念提取方面的应用，比较这些方法与传统词嵌入方法（word2vec，GloVe，fastText）的性能表现，并探讨将这些表示方法应用于医疗任务的可能性。研究结果表明，基于大型医学语料库的上下文嵌入方法表现出色，优于现有所有方法。此外，与传统词表示相比，上下文嵌入方法还包含有价值的语义信息。

Feb, 2019

本文探讨了使用不同的资源如临床笔记、生物医学出版物、维基百科和新闻训练的词嵌入，经过定性和定量评估后发现，基于临床笔记和生物医学出版物训练的词嵌入能更好地捕捉医学术语的语义，更接近于专家的判断，但是，无法为所有下游生物医学 NLP 任务提供一致的全局排名，只能将它们作为额外特征来提高大多数下游任务的结果。

Feb, 2018

本文通过对现有单词嵌入方法的特点和分类任务的分析，将单词嵌入方法划分为传统方法和基于神经网络的方法，揭示基于神经网络的单词表示方法相比于传统方法更能捕捉语言的语义和句法规律。实验验证了不同方法的性能差异。

Mar, 2023

文中提出了使用专家领域知识来构建单词嵌入向量的方法，在临床自然语言处理中获得了可观的效果。通过将单词的 “上下文” 概念推广为包括任意特征，我们展示了使用这种方法产生的单词向量在与临床专家的相关性方面普遍优于其纯文本的对应方法。

Dec, 2017

利用知识图谱嵌入学习方法，探索在 SNOMED-CT 知识图谱中学习生物医学知识表征的能力，提供性能测试及最佳实践，并强调利用知识图谱多关系特性学习知识表征的重要性。

Jun, 2020

本研究总结了最近的构建定长、密集、分布式单词表示的主要策略，并阐述了这些表示通常被称为单词嵌入，并除了编码出色的句法和语义信息之外，还被证明在许多下游自然语言处理任务中有用的额外特征。

Jan, 2019

使用大规模多模态医疗数据集，本文提出了一种新的 cui2vec 医疗概念词嵌入模型，并通过统计功率法进行了评估，结果表明该模型在大多数情况下相对于之前的方法具有最先进的性能。

Apr, 2018

本文探讨了基于词汇的上下文嵌入模型在临床领域的应用，发现相对于通用语料库，专业领域语料库下的 BERT 模型在三个典型的临床自然语言处理任务上表现更加出色。

Apr, 2019

本文提出使用语义嵌入方法，将原始、杂乱的临床数据直接与下游学习架构耦合，以实现最小化预处理。我们从捕捉和编码数据表示中的复杂数据依赖性的角度考虑这一步骤，而不是在模型中实现，该方法允许使用快速，轻量级和简单的模型进行下游处理，对于没有机器学习专业知识的研究人员非常有用。我们通过三个典型的临床预测任务证明了高度压缩的嵌入数据表示捕获了大量有用的复杂性，尽管在某些情况下，压缩并非完全无损。

Feb, 2018

医疗协商中的文本如何使用最先进的嵌入和一次性分类系统进行分类，分析表明，嵌入能够可靠并且适应地捕捉文本的语义特征。Word2Vec、GloVe 和字符 n-gram 嵌入表现良好，GPT2 嵌入也表现出显著性能，我们的机器学习架构在数据稀缺的情况下显著改善了患者和医疗提供者之间的交流质量。

Feb, 2024