Jul, 2019

利用上下文词嵌入改进专利化学命名实体识别

PDF
TL;DR本文探讨了 BiLSTM-CRF 模型在利用预训练的词嵌入、字符级和上下文化 ELMo 词表示在化学专利中的命名实体识别性能，并比较了医学和化学专利语料库上预训练的词嵌入对化学专利的影响。结果表明，使用基于 ELMo 的上下文词表示法可以大幅度提高在化学命名实体识别方面的表现。我们还表明，针对化学领域的资源（如在化学专利上训练的词嵌入和特定于化学的标记器）对 NER 性能有积极影响。
chemical patentsnamed entity recognitionbilstm-crf modelelmo word representationsdomain-specific resources
发现论文，激发创造
  • 当专业化有帮助时：使用汇集的上下文嵌入在西班牙语中检测化学和生物医学实体

    本研究基于 PharmaCoNER 挑战任务 1，使用 BiLSTM-CRF 序列标记器和基于 FLAIR 的深度学习方法，通过构建一个新的 Spanish Health Corpus 并使用领域专用嵌入，成功提高了化学药品和药物的识别精度。

    Oct, 2019

  • 从语言模型中探测生物医学嵌入

    本文研究使用预训练的语言模型作为固定的特征提取器，并限制下游任务模型没有额外的序列建模层，探索在域内训练后的上下文词嵌入中携带的附加信息。结果发现，BioELMo 在编码实体类型和关系信息方面优于 BioBERT。

    Apr, 2019

  • 利用上下文嵌入增强临床概念抽取

    本研究旨在研究新的语言表示方法（如 ELMo，BERT）在医疗概念提取方面的应用，比较这些方法与传统词嵌入方法（word2vec，GloVe，fastText）的性能表现，并探讨将这些表示方法应用于医疗任务的可能性。研究结果表明，基于大型医学语料库的上下文嵌入方法表现出色，优于现有所有方法。此外，与传统词表示相比，上下文嵌入方法还包含有价值的语义信息。

    Feb, 2019

  • 通过多粒度嵌入和增强标注进行多级生物医学命名实体识别

    本文提出了一种集成多种模型的混合方法，以解决生物医学实体识别中的局限性，并在 i2b2/2010 数据集上评估，得到了 90.11 的 F1 分数。

    Dec, 2023

  • 比较 CNN 和 LSTM 字符级嵌入在 BiLSTM-CRF 模型中用于化学和疾病命名实体识别

    比较 LSTM 和 CNN 基于字符级别的词嵌入在 BiLSTM-CRF 模型中用于化学和疾病实体识别任务的效果。实验结果表明，使用任意一种字符级别嵌入方式都能使模型达到最先进的性能，但是基于 CNN 的字符级别嵌入模型具有计算性能优势，增加训练时间 25％，而基于 LSTM 的字符级别嵌入模型需要的训练时间则超过两倍。

    Aug, 2018

  • 命名实体识别的分层上下文表示

    本文提出了一种基于分层上下文表示的模型，通过句子级和文档级表示来提高实体识别模型中全局信息的利用，其中包括标签嵌入和注意机制以及键值内存网络，实验证明该模型在三个基准数据集上表现出优越的效果。

    Nov, 2019

  • 专利相似性的嵌入模型比较分析

    该研究在文本专利相似性领域有两方面的贡献：首先，它比较了不同类型的专利特定预训练嵌入模型，包括静态词嵌入（如 word2vec 和 doc2vec 模型）和上下文词嵌入（如基于 transformers 的模型），在专利相似性计算任务上的性能；其次，它比较了 Sentence Transformers（SBERT）架构在专利相似性任务上不同训练阶段的性能。结果表明，该研究提出的专利 SBERT-adapt-ub，即预训练 Sentence Transformer 架构的领域自适应，优于当前专利相似性的最新技术水平。其次，研究结果显示，在某些情况下，大型静态模型在训练大量数据时仍可以与上下文模型相媲美；因此，我们认为上下文嵌入在性能上的优势可能与实际架构无关，而是与训练阶段的方式有关。

    Mar, 2024

  • 专利分析中句子嵌入模型表现的调查

    本研究旨在评估基于不同 NLP 嵌入模型的专利数据嵌入模型计算专利技术相似度的准确度，提出了一个评估嵌入模型准确度的标准库和数据集，研究结果表明 PatentSBERTa、Bert-for-patent 和 TF-IDF 加权词嵌入在子类别级别计算句子嵌入具有最好的精确度。

    Apr, 2022

  • 科学命名实体识别的分层 Transformer 模型

    使用 BERT 和 transformer 层的简单和有效的 Named Entity Recognition 方法在计算机科学和生物医学领域的三个基准数据集上优于当前最先进技术，无需外部资源或特定数据增强。

    Mar, 2022

  • 公开可用的临床 BERT 嵌入

    本文探讨了基于词汇的上下文嵌入模型在临床领域的应用，发现相对于通用语料库，专业领域语料库下的 BERT 模型在三个典型的临床自然语言处理任务上表现更加出色。

    Apr, 2019