Feb, 2019

利用上下文嵌入增强临床概念抽取

PDF
TL;DR本研究旨在研究新的语言表示方法（如 ELMo，BERT）在医疗概念提取方面的应用，比较这些方法与传统词嵌入方法（word2vec，GloVe，fastText）的性能表现，并探讨将这些表示方法应用于医疗任务的可能性。研究结果表明，基于大型医学语料库的上下文嵌入方法表现出色，优于现有所有方法。此外，与传统词表示相比，上下文嵌入方法还包含有价值的语义信息。
发现论文，激发创造
  • 基于上下文词嵌入的临床概念抽取

    本研究提出一个基于领域特定词汇上下文嵌入的临床问题、治疗和测试自动标注临床笔记的模型，使用上下文嵌入模型训练一个双向 LSTM-CRF 模型用于临床概念提取，并在 I2B2 2010 挑战数据集上进行了测试，最终性能优于现有模型 3.4%。

    Oct, 2018

  • 公开可用的临床 BERT 嵌入

    本文探讨了基于词汇的上下文嵌入模型在临床领域的应用，发现相对于通用语料库，专业领域语料库下的 BERT 模型在三个典型的临床自然语言处理任务上表现更加出色。

    Apr, 2019

  • 从语言模型中探测生物医学嵌入

    本文研究使用预训练的语言模型作为固定的特征提取器，并限制下游任务模型没有额外的序列建模层，探索在域内训练后的上下文词嵌入中携带的附加信息。结果发现，BioELMo 在编码实体类型和关系信息方面优于 BioBERT。

    Apr, 2019

  • 上下文嵌入概述调查

    该综述评估了现有的上下文嵌入模型，跨语言多语预训练，上下文嵌入在下游任务中的应用，模型压缩和分析。

    Mar, 2020

  • 临床自然语言处理中嵌入技术综述

    本文是一篇关于临床自然语言处理中嵌入表示法的全面调查研究，讨论了各种医学语料库及其特征、医学编码、流行嵌入模型的概述和比较，并将临床嵌入表示划分为九类，并详细讨论每种嵌入类型，探讨临床嵌入表示法中的各种挑战及可能的解决方案和未来研究方向。

    Mar, 2019

  • UmlsBERT: 使用统一医学语言系统词表增强上下文嵌入的临床领域知识

    UmlsBERT is a contextual embedding model for biomedical natural language processing that integrates domain knowledge during pre-training via a novel knowledge augmentation strategy, outperforming existing models on named-entity recognition and clinical natural language inference tasks.

    Oct, 2020

  • 从大规模多模态医学数据中学习的临床概念嵌入

    使用大规模多模态医疗数据集，本文提出了一种新的 cui2vec 医疗概念词嵌入模型，并通过统计功率法进行了评估，结果表明该模型在大多数情况下相对于之前的方法具有最先进的性能。

    Apr, 2018

  • 基于临床记录抽取的不同表征模型评估死亡率预测

    本研究基于 Transformers 预训练的语言表示学习方法，将特定医学记录中的信息提取，映射到标准词汇中，并在医院死亡预测任务中测试不同输入格式的性能，结果表明使用提取的唯一概念和标准名称作为输入可以获得更好的性能。

    Jul, 2022

  • 命名实体识别中的上下文嵌入：一项关于泛化的实证研究

    本文通过经验分析，将提到的未知名称根据新奇性和域外评估进行分离，并证明了最新情境嵌入模型在发现前所未见的名称方面特别有益，尤其是在域外评估中。

    Jan, 2020

  • 生物医学自然语言处理的词嵌入比较

    本文探讨了使用不同的资源如临床笔记、生物医学出版物、维基百科和新闻训练的词嵌入，经过定性和定量评估后发现，基于临床笔记和生物医学出版物训练的词嵌入能更好地捕捉医学术语的语义，更接近于专家的判断，但是，无法为所有下游生物医学 NLP 任务提供一致的全局排名，只能将它们作为额外特征来提高大多数下游任务的结果。

    Feb, 2018