May, 2023

使用大型语言模型从医生 - 患者对话中生成临床笔记：来自 MEDIQA-Chat 的见解

PDF
TL;DR本文介绍了我们在 MEDIQA-Chat 2023 共享任务中对于从医生 - 患者对话自动生成临床笔记的提交。我们报道了两种方法的结果：第一种微调共享任务数据上的预训练语言模型（PLM），第二种使用大型语言模型（LLM）进行少量样本的上下文学习（ICL）。两种方法在自动指标（如 ROUGE，BERTScore）上均实现了高性能，并分别排名共享任务的二和一位。专业人士的审查表明，通过基于 ICL 的方法和 GPT-4 生成的笔记与人工书写的笔记一样受欢迎，这使其成为从医生 - 患者对话自动生成笔记的有前途的途径。
发现论文，激发创造
  • GersteinLab 参加 MEDIQA-Chat 2023：通过微调和上下文学习从医患对话中进行临床笔记总结

    本文利用 GPT-3 和 GPT-4 两种方法，并使用 RoBERTa 和 SciBERT based classification models，以 MEDIQA-2023 Dialogue2Note shared task 为案例，解决对话摘要的问题，并在 ROUGE-1 F1, BERTScore F1 (deberta-xlarge-mnli) 以及 BLEURT 等指标上表现良好，代码可供使用。

    May, 2023

  • NoteChat: 临床笔记为条件的合成医患对话数据集

    医生在每次患者访问后撰写的详细临床记录对医生和研究人员至关重要。利用语言模型自动化创建这些记录可以减轻医生的工作负担。本文介绍了 NoteChat，一个利用大型语言模型生成基于临床记录的合成医患对话的协作多代理框架。NoteChat 包括规划、角色扮演和润色模块。通过与 OpenAI 的 ChatGPT 和 GPT-4 等最先进模型进行全面的自动和人工评估，结果表明 NoteChat 促进了高质量的合成医患对话，突显了语言模型在医疗保健中的潜力。这项工作是多个语言模型合作完成以临床记录为条件的医患对话的首次示例，为人工智能与医疗保健的交叉领域提供了有前景的途径。

    Oct, 2023

  • UMASS_BioNLP 参加 MEDIQA-Chat 2023: LLM 模型是否可以生成高质量的面向医生患者对话的合成笔记？

    本文介绍了 UMASS_BioNLP 团队参加 MEDIQA-Chat 2023 任务 A 和任务 C 的情况，并提出了一种名为医生 - 患者循环的新型 LLMs 合作系统，以生成高质量的对话数据集。通过 ROUGE、医学概念召回率、BLEU 和自身 BLEU 等自动度量标准对方法进行了评估，并对其与 ChatGPT 和 GPT-4 进行了比较分析，同时探讨了利用合作 LLMs 生成高质量数据集的潜力。

    Jun, 2023

  • 面向专家级临床笔记生成的开源大型语言模型的适应性

    在本研究中，我们展示了一个小型开源语言模型（LLMs）可以有效地从门诊患者 - 医生对话中生成高质量的临床笔记，通过包括持续预训练、监督微调和强化学习在内的综合的领域和任务特定的自适应过程。我们通过增强方法 DistillDirect，以 Gemini Pro 作为教师模型，在策略上进行了强化学习。我们的研究证明了训练较小、开源的 LLMs 以辅助临床文档编写的潜力和可行性，充分利用医疗机构对患者记录和领域专业知识的访问。

    Apr, 2024

  • 大型语言模型的临床文档动态问答

    利用大型语言模型 (LLMs) 对临床记录进行动态问答的自然语言接口引入了一种新的方法。我们的聊天机器人通过 Langchain 和基于变压器的 LLMs 实现，允许用户用自然语言查询并从临床记录中获得相关答案。经过利用各种嵌入模型和先进的 LLMs 的实验表明，Wizard Vicuna 具有更高的准确性，尽管计算需求较高。模型优化，包括重量量化，使延迟时间提高了约 48 倍。有希望的结果表明，充分利用临床记录的价值和推进基于 AI 的临床决策的发展还面临一些挑战，如模型幻觉和有限的多样化医疗案例评估。解决这些差距对于释放临床记录的价值和推进基于 AI 的临床决策具有重要意义。

    Jan, 2024

  • 自动医疗记录生成的持续预训练语言模型方法

    LLMs 是 NLP 任务的革命性技术，但是像 GPT-4 这样功能强大的 LLM 对于大多数特定领域的场景来说价格过高。我们提出了第一个基于 13B Llama2 的连续训练的 LLM，该模型专门用于医学对话，并通过自动撰写进行了衡量。结果表明，我们的模型在 PubMedQA 中的准确度达到了 76.6％，并且在将医学对话总结为 SOAP 笔记方面与 GPT-4 的性能相当。值得注意的是，我们的模型能够捕捉更多正确的医学概念，超越 GPT-4，并以更高的正确性和完整性胜过人工撰稿人。

    Mar, 2024

  • 在沟通性医疗辅导中对大型语言模型进行基准测试：一种新的系统和数据集

    通过聊天对话系统，结合自然语言处理技术，开发出了一个医学交流技能辅导平台，有效帮助医学学习者提高沟通能力，并对比了使用不同的语言模型的效果。

    Feb, 2024

  • MEDIQA-CORR 2024 上的爱丁堡临床自然语言处理：利用提示指导大型语言模型

    评估大型语言模型在医疗错误识别和修正方面的能力，提出了多种提示策略来显著提高模型的修正能力，并讨论了错误句子位置、提示角色和选项位置对模型准确性的影响。该研究表明，尽管具有潜力，但是否准备好将大型语言模型应用于真实临床环境仍然需要进一步研究。

    May, 2024

  • 知识注入引导：基于大型语言模型的临床文本数据生成评估与推进

    通过结合临床领域特定知识图谱和大语言模型，在临床自然语言处理中提出了一种创新、资源高效的方法 ClinGen，通过临床知识提取和上下文信息化的大语言模型指导数据生成，持续提升性能，对生成训练实例的多样性和真实数据分布进行有效调整。

    Nov, 2023

  • 赋能临床医生与民主化数据科学：大型语言模型自动化临床研究的机器学习

    chatGPT Code Interpreter (CI) 通过自主开发 ML 模型来预测临床结果并在医学研究和实践中推广广泛应用，从而弥合机器学习开发者和临床实践者之间的知识鸿沟。

    Aug, 2023