Jun, 2023

UMASS_BioNLP 参加 MEDIQA-Chat 2023: LLM 模型是否可以生成高质量的面向医生患者对话的合成笔记？

PDF
TL;DR本文介绍了 UMASS_BioNLP 团队参加 MEDIQA-Chat 2023 任务 A 和任务 C 的情况，并提出了一种名为医生 - 患者循环的新型 LLMs 合作系统，以生成高质量的对话数据集。通过 ROUGE、医学概念召回率、BLEU 和自身 BLEU 等自动度量标准对方法进行了评估，并对其与 ChatGPT 和 GPT-4 进行了比较分析，同时探讨了利用合作 LLMs 生成高质量数据集的潜力。
发现论文，激发创造
  • 使用大型语言模型从医生 - 患者对话中生成临床笔记：来自 MEDIQA-Chat 的见解

    本文介绍了我们在 MEDIQA-Chat 2023 共享任务中对于从医生 - 患者对话自动生成临床笔记的提交。我们报道了两种方法的结果：第一种微调共享任务数据上的预训练语言模型（PLM），第二种使用大型语言模型（LLM）进行少量样本的上下文学习（ICL）。两种方法在自动指标（如 ROUGE，BERTScore）上均实现了高性能，并分别排名共享任务的二和一位。专业人士的审查表明，通过基于 ICL 的方法和 GPT-4 生成的笔记与人工书写的笔记一样受欢迎，这使其成为从医生 - 患者对话自动生成笔记的有前途的途径。

    May, 2023

  • NoteChat: 临床笔记为条件的合成医患对话数据集

    医生在每次患者访问后撰写的详细临床记录对医生和研究人员至关重要。利用语言模型自动化创建这些记录可以减轻医生的工作负担。本文介绍了 NoteChat，一个利用大型语言模型生成基于临床记录的合成医患对话的协作多代理框架。NoteChat 包括规划、角色扮演和润色模块。通过与 OpenAI 的 ChatGPT 和 GPT-4 等最先进模型进行全面的自动和人工评估，结果表明 NoteChat 促进了高质量的合成医患对话，突显了语言模型在医疗保健中的潜力。这项工作是多个语言模型合作完成以临床记录为条件的医患对话的首次示例，为人工智能与医疗保健的交叉领域提供了有前景的途径。

    Oct, 2023

  • 自动医疗记录生成的持续预训练语言模型方法

    LLMs 是 NLP 任务的革命性技术，但是像 GPT-4 这样功能强大的 LLM 对于大多数特定领域的场景来说价格过高。我们提出了第一个基于 13B Llama2 的连续训练的 LLM，该模型专门用于医学对话，并通过自动撰写进行了衡量。结果表明，我们的模型在 PubMedQA 中的准确度达到了 76.6％，并且在将医学对话总结为 SOAP 笔记方面与 GPT-4 的性能相当。值得注意的是，我们的模型能够捕捉更多正确的医学概念，超越 GPT-4，并以更高的正确性和完整性胜过人工撰稿人。

    Mar, 2024

  • 低语言模型 (Synthetic Data Generation of LLMs) 是否有助于临床文本挖掘？

    本研究旨在探究将 ChatGPT 应用于临床文本挖掘中，针对生物命名实体识别和关系抽取，我们提出了一种基于生成大量合成数据进行本地模型微调的训练范式。结果表明，这种方法显著提高了下游任务的性能，同时缓解了数据隐私问题。

    Mar, 2023

  • 在医疗领域中提高大型语言模型中的事实准确性的 UMLS 增强框架

    我们的研究开发了一个基于统一医学语言系统（UMLS）的增强型大型语言模型（LLMs）框架，通过自动和医师评估等方法，实验证明了该框架有效地提高了生成内容的准确性、完整性和相关性，同时突出了大型语言模型在医学问答中的潜在应用价值。

    Oct, 2023

  • GersteinLab 参加 MEDIQA-Chat 2023：通过微调和上下文学习从医患对话中进行临床笔记总结

    本文利用 GPT-3 和 GPT-4 两种方法，并使用 RoBERTa 和 SciBERT based classification models，以 MEDIQA-2023 Dialogue2Note shared task 为案例，解决对话摘要的问题，并在 ROUGE-1 F1, BERTScore F1 (deberta-xlarge-mnli) 以及 BLEURT 等指标上表现良好，代码可供使用。

    May, 2023

  • 面向专家级临床笔记生成的开源大型语言模型的适应性

    在本研究中，我们展示了一个小型开源语言模型（LLMs）可以有效地从门诊患者 - 医生对话中生成高质量的临床笔记，通过包括持续预训练、监督微调和强化学习在内的综合的领域和任务特定的自适应过程。我们通过增强方法 DistillDirect，以 Gemini Pro 作为教师模型，在策略上进行了强化学习。我们的研究证明了训练较小、开源的 LLMs 以辅助临床文档编写的潜力和可行性，充分利用医疗机构对患者记录和领域专业知识的访问。

    Apr, 2024

  • 评估 ChatGPT 家族模型在生物医学推理和分类中的表现

    研究了大型语言模型在生物医学任务中的性能，并与更简单的模型进行了比较，特别地，探讨了分类和因果关系检测任务。发现精细调整后的模型依然是最佳策略，而简单的词袋模型的表现与最复杂的大型语言模型的表现相当。

    Apr, 2023

  • 在沟通性医疗辅导中对大型语言模型进行基准测试：一种新的系统和数据集

    通过聊天对话系统，结合自然语言处理技术，开发出了一个医学交流技能辅导平台，有效帮助医学学习者提高沟通能力，并对比了使用不同的语言模型的效果。

    Feb, 2024

  • 大型语言模型的临床文档动态问答

    利用大型语言模型 (LLMs) 对临床记录进行动态问答的自然语言接口引入了一种新的方法。我们的聊天机器人通过 Langchain 和基于变压器的 LLMs 实现，允许用户用自然语言查询并从临床记录中获得相关答案。经过利用各种嵌入模型和先进的 LLMs 的实验表明，Wizard Vicuna 具有更高的准确性，尽管计算需求较高。模型优化，包括重量量化，使延迟时间提高了约 48 倍。有希望的结果表明，充分利用临床记录的价值和推进基于 AI 的临床决策的发展还面临一些挑战，如模型幻觉和有限的多样化医疗案例评估。解决这些差距对于释放临床记录的价值和推进基于 AI 的临床决策具有重要意义。

    Jan, 2024