Oct, 2023

利用不同深度学习模型从临床文本中提取药物及时序关系

PDF
TL;DR探索了 MedTem 项目中利用深度学习和大型语言模型（LLM）进行医疗信息从 EMR 中提取和分类的效果，并对不同字嵌入技术进行了研究。在医疗实体识别任务中，CNN-BiLSTM 模型优于 BiLSTM-CRF 模型，分别达到了 75.67，77.83 和 78.17 的 Macro Average 精确度，召回率和 F1 分数。BERT-CNN 模型在 i2b2-2012 挑战的时间关系提取测试集上表现也较好，分别达到了 64.48，67.17 和 65.03 的 Macro Average P/R/F1 分数。
electronic medical recordsdisease predictionmedication extractiontemporal relation extractionclinical domain
发现论文，激发创造
  • 关系抽取在临床文档理解中的应用

    该文介绍了一种文本挖掘框架，利用 Named Entity Recognition 和 Relation Extraction 模型对医学文献和数字临床记录进行处理，取得优异的实验结果，并构建了一个生物医学知识图谱。系统使用 Spark NLP 库提供的生产级、可伸缩、硬件优化、可训练和可调整的 NLP 框架。

    Dec, 2021

  • 基于 Transformer 深度学习架构的上下文化药物信息提取

    研究开发了自然语言处理（NLP）系统，用于从临床叙述中提取上下文药物信息，证明大型转换模型的优势。

    Mar, 2023

  • 使用领域不变卷积神经网络从临床文本中提取关系

    本文旨在探讨在医疗临床记事本上提取关系的问题。作者提出使用卷积神经网络自动学习特征，减少对人工特征工程的依赖，并针对 i2b2-2010 临床关系提取挑战数据集进行了实证研究。结果表明，卷积神经网络可以是在临床文本中提取关系的良好模型，而且不需要专家们定义的高质量特征。

    Jun, 2016

  • 一种用深度学习实现医疗关系抽取的混合方法

    本研究提出了一种深度学习方法，利用单词级和句子级表示同时提取治疗和问题之间的关系，以用于医疗决策支持系统、安全监测和新治疗发现。通过深度学习和基于规则的模型的联合结果获得了最终的关联关系。该系统在 I2b2 2010 关系提取任务的关系类别上取得了有前途的表现。

    Jun, 2018

  • 基于大型语言模型的半结构化网络文章的高吞吐量生物医学关系抽取

    利用大型语言模型的阅读理解能力和生物医学领域知识，开发了一个高通量的生物医学关系提取系统，将关系提取任务作为一个简单的二分类问题，通过外部语料库和世界知识进行判断，并从可靠医学网站中提取多种类型的生物医学关系。

    Dec, 2023

  • 使用预训练语言模型提取临床叙述中的药物变化

    本文介绍了一种从临床笔记的自由文本中自动提取药物变化信息的方法，并用 Contextual Medication Event Dataset (CMED) 数据集识别药物提及。并提出了三种基于 BERT 的高性能系统来解决注释的药物变化特性。研究表明，所提出的系统可以提高药物变化分类性能。

    Aug, 2022

  • 基于 Transformer 模型的临床关系提取

    研究比较了 BERT、RoBERTa 和 XLNet 三种 transformer 模型在临床关系抽取方面的性能，发现 RoBERTa-clinical 以 0.8958 的 F1-score 在 2018 MADE1.0 数据集上表现最好，XLNet-clinical 以 0.9610 的 F1-score 在 2018 n2c2 数据集上表现最好。在生物医学领域中，研究者们可以使用我们开发的开源工具包进行进一步的相关 NLP 任务分析。

    Jul, 2021

  • 生物医学关系抽取方法和模型比较及其在知识图谱构建中的应用

    本研究介绍比较了在构建知识图谱中用于从生物医学文献中提取关系方面的一些基于规则和基于机器学习的方法，例如：朴素贝叶斯、随机森林、DistilBERT、PubMedBERT、T5、SciFive 等，通过实验检测不同方法的适用性和鲁棒性。结果表明，基于 transformers 的模型（如 PubMedBERT）在处理小型和不平衡的数据时表现较好。其中，在平衡数据上，PubMedBERT 模型的 F1 得分最高（0.92）。

    Jan, 2022

  • 从生物医学文献中进行意图识别和实体提取

    通过全面的实证评估，我们表明在生物医学文本中，受监督的微调方法仍然相关且比通用性的大型语言模型更有效，如 PubMedBERT 可以仅凭 5 个受监督示例就能在命名实体识别任务上超过 ChatGPT。

    Apr, 2024

  • 生物临床 BERT、BERT Base 和 CNN 预测药物评论满意度的性能比较

    开发自然语言处理（NLP）模型，分析患者的药物评价并准确分类为积极、中性或消极满意度，以减轻医护人员工作量并对患者生活质量提供更深入的洞察，这是治疗效果的关键指标。研究实施和评估了几个分类模型，包括 BERT 基础模型、Bio+Clinical BERT 和简单的 CNN。结果表明，针对医疗领域的 Bio+Clinical BERT 模型明显优于基础 BERT 模型，在宏观 F1 和召回率评分上提高 11%。未来研究可以探索如何充分发挥每个模型的特定优势，Bio+Clinical BERT 在整体性能方面表现出色，尤其擅长处理医学术语，而简单的 CNN 则能够识别关键词并准确分类具有矛盾情感的文本。

    Aug, 2023