利用预训练语言模型和电子健康记录背景提取生物医学事实知识

Aug, 2022

利用预训练语言模型和电子健康记录背景提取生物医学事实知识

Extracting Biomedical Factual Knowledge Using Pretrained Language Model and Electronic Health Record Context

Zonghai Yao, Yi Cao, Zhichao Yang, Vijeta Deshpande, Hong Yu

TL;DR通过在 EHR 笔记上下文中添加提示，我们设计了并验证了一系列实验，用于实现动态上下文下的生物医学语言模型内置知识库的任务。我们的实验表明，这些语言模型所具有的知识可以从 EHR 笔记的噪声知识中区分出正确的知识，这种区分能力也可以作为一个新的度量来评估模型所具有的知识量。

Abstract

language models (LMs) have performed well on biomedical natural language processing applications. In this study, we conducted some experiments to use prompt methods to extract knowledge from LMs as new knowledge Bases (LMs as KBs). However, prompting can only be used as a low bound for

language models biomedical natural language processing knowledge extraction ehr notes dynamic-context-biolama

发现论文，激发创造

语言模型能成为医学知识库吗？

通过创建生物医学知识三元组的基准测试 BioLAMA，研究了预训练语言模型是否可用作具有生物医学特定领域知识的知识库。发现在近期提出的探测方法下，生物医学语言模型可以在检索生物医学知识方面取得 18.51% 的精确度，但多数预测与无主题的提示模板高度相关，因此限制了它们作为特定领域知识库的能力。

Sep, 2021

隐私保护上下文引导增强小型医学学习者

本文提出了一种简单而有效的方法，通过从医疗数据中提取关键词并模拟临床医生的思维过程，从而缓解患者隐私问题，增强小型语言模型在医学任务中的决策能力，最终在受隐私限制的情境下取得了新的结果，并在两个医学任务中达到了新的最高水平

May, 2023

零轉化臨床自然語言處理中大型語言模型的提示策略實證評估

本文综合系统地对五个临床自然语言处理任务（临床意义消除、生物医学证据提取、共指消解、药物状态提取和药物属性提取）的提示工程进行了实验研究，评估了多种提示类型在三种先进的大型语言模型（GPT-3.5、BARD 和 LLAMA2）上的性能，并提出了对临床 NLP 领域提示工程的新见解和指南。

Sep, 2023

知识注入引导：基于大型语言模型的临床文本数据生成评估与推进

通过结合临床领域特定知识图谱和大语言模型，在临床自然语言处理中提出了一种创新、资源高效的方法 ClinGen，通过临床知识提取和上下文信息化的大语言模型指导数据生成，持续提升性能，对生成训练实例的多样性和真实数据分布进行有效调整。

Nov, 2023

采用大型语言模型进行跨数据源生物医学概念链接

利用大型语言模型 PromptLink 实现生物医学概念链接，解决概念命名差异问题，从而在不同数据源之间进行集成分析，该方法通过两阶段提示实现链接，既充分利用了大型语言模型的先验知识，又提高了结果的可靠性。

May, 2024

将医学知识图谱结合到大型语言模型中用于诊断预测

通过结合医学知识图谱和新颖的图模型 Dr.Knows，我们提出一种创新的方法来提高大型语言模型在自动诊断生成领域的能力，从而消除预训练的需要，提高自动诊断生成的准确性。

Aug, 2023

针对基于提示的生物医学知识探究的预训练语言模型的上下文差异评估

本文提出了一种新的上下文变量提示和理解 - 困惑 - 误解 (UCM) 度量，以改善 PLMs 在生物医学知识三元组上的性能，并提出新颖的 “误解” 概念来评估不同 PLMs 学习的知识，实验表明这可以使 BioLAMA 对大型 N-M 关系和稀有关系更友好。

Nov, 2022

生物医学中的 LLMs：临床命名实体识别研究

该研究探讨了大型语言模型在医学领域中的应用，通过策略性地选择和设计提示语，增强模型在命名实体识别任务中的性能，并结合外部资源通过提示策略填补医学命名实体识别领域中的专业需求与通用语言模型之间的差距，最终提出的方法能够提高大型语言模型在医学命名实体识别任务中的 F1 分数。

Apr, 2024

提高临床试验的患者招募效率：基于提示的学习模型应用

应用基于提示的大型语言模型在临床试验中基于资格标准对患者进行分类的研究提供了有希望的分数，并提出了一种利用 SNOMED CT 本体论进行提取式摘要的方法，该方法也可以应用于其他医学文本。

Apr, 2024

大型语言模型的临床文档动态问答

利用大型语言模型 (LLMs) 对临床记录进行动态问答的自然语言接口引入了一种新的方法。我们的聊天机器人通过 Langchain 和基于变压器的 LLMs 实现，允许用户用自然语言查询并从临床记录中获得相关答案。经过利用各种嵌入模型和先进的 LLMs 的实验表明，Wizard Vicuna 具有更高的准确性，尽管计算需求较高。模型优化，包括重量量化，使延迟时间提高了约 48 倍。有希望的结果表明，充分利用临床记录的价值和推进基于 AI 的临床决策的发展还面临一些挑战，如模型幻觉和有限的多样化医疗案例评估。解决这些差距对于释放临床记录的价值和推进基于 AI 的临床决策具有重要意义。

Jan, 2024