EMNLPOct, 2019

当专业化有帮助时：使用汇集的上下文嵌入在西班牙语中检测化学和生物医学实体

PDF
TL;DR本研究基于 PharmaCoNER 挑战任务 1，使用 BiLSTM-CRF 序列标记器和基于 FLAIR 的深度学习方法，通过构建一个新的 Spanish Health Corpus 并使用领域专用嵌入，成功提高了化学药品和药物的识别精度。
pharmaconer challengebilstm-crfflairspanish health corpusdomain-specific embeddings
发现论文，激发创造
  • 利用上下文词嵌入改进专利化学命名实体识别

    本文探讨了 BiLSTM-CRF 模型在利用预训练的词嵌入、字符级和上下文化 ELMo 词表示在化学专利中的命名实体识别性能，并比较了医学和化学专利语料库上预训练的词嵌入对化学专利的影响。结果表明，使用基于 ELMo 的上下文词表示法可以大幅度提高在化学命名实体识别方面的表现。我们还表明，针对化学领域的资源（如在化学专利上训练的词嵌入和特定于化学的标记器）对 NER 性能有积极影响。

    Jul, 2019

  • NLNDE: 强化神经序列标注器，采用注意力机制和有噪信道，用于稳健的药理实体检测

    本文提出了一种基于注意力的嵌入选择架构，通过自动注释数据的训练用于在西班牙语文本中检测药理实体，并在 PharmaCoNER 竞赛中取得了 88.6% 的 F1 值。

    Jul, 2020

  • 从语言模型中探测生物医学嵌入

    本文研究使用预训练的语言模型作为固定的特征提取器，并限制下游任务模型没有额外的序列建模层，探索在域内训练后的上下文词嵌入中携带的附加信息。结果发现，BioELMo 在编码实体类型和关系信息方面优于 BioBERT。

    Apr, 2019

  • BioFLAIR：用于生物医学序列标注任务的预训练聚合上下文化嵌入

    研究比较 FLAIR 模型与其他模型（如 BERT）在生物医学命名实体识别任务中的表现，发现 FLAIR 在提供的 PubMed 向量上表现良好，甚至在某些任务上超越了 BERT，并且与其他模型叠加使用可以进一步提高结果。

    Aug, 2019

  • 面向西班牙语的生物医学和临床语言模型：中等资源情景下专业领域预训练的好处

    本文介绍了针对西班牙语的生物医学和临床语言模型，通过实验不同的预训练选择和测试领域数据，生成可用于实际临床数据的模型，并通过对比 NER 任务，证实了进行特定领域的预训练对提高下游任务性能非常重要。

    Sep, 2021

  • 利用上下文嵌入增强临床概念抽取

    本研究旨在研究新的语言表示方法（如 ELMo，BERT）在医疗概念提取方面的应用，比较这些方法与传统词嵌入方法（word2vec，GloVe，fastText）的性能表现，并探讨将这些表示方法应用于医疗任务的可能性。研究结果表明，基于大型医学语料库的上下文嵌入方法表现出色，优于现有所有方法。此外，与传统词表示相比，上下文嵌入方法还包含有价值的语义信息。

    Feb, 2019

  • 通过多粒度嵌入和增强标注进行多级生物医学命名实体识别

    本文提出了一种集成多种模型的混合方法，以解决生物医学实体识别中的局限性，并在 i2b2/2010 数据集上评估，得到了 90.11 的 F1 分数。

    Dec, 2023

  • 命名实体识别中的上下文嵌入：一项关于泛化的实证研究

    本文通过经验分析，将提到的未知名称根据新奇性和域外评估进行分离，并证明了最新情境嵌入模型在发现前所未见的名称方面特别有益，尤其是在域外评估中。

    Jan, 2020

  • 基于上下文词嵌入的临床概念抽取

    本研究提出一个基于领域特定词汇上下文嵌入的临床问题、治疗和测试自动标注临床笔记的模型，使用上下文嵌入模型训练一个双向 LSTM-CRF 模型用于临床概念提取，并在 I2B2 2010 挑战数据集上进行了测试，最终性能优于现有模型 3.4%。

    Oct, 2018

  • 公开可用的临床 BERT 嵌入

    本文探讨了基于词汇的上下文嵌入模型在临床领域的应用，发现相对于通用语料库，专业领域语料库下的 BERT 模型在三个典型的临床自然语言处理任务上表现更加出色。

    Apr, 2019