基于实体驱动对比学习的医学问题总结
我们提出了一个问题焦点驱动的对比学习框架 (QFCL),利用对比学习在编码器和解码器两个阶段获得更好的句子级表示,从而在医学问题归纳总结任务上实现了最新的最优结果,相比于 BART 模型,准确率提升了 5.33、12.85 和 3.81 个百分点。
Sep, 2022
本文研究针对真实世界的消费者健康问题的抽象总结任务,开发了一个抽象问题总结模型,利用医疗实体的语义识别,借此提高了问题聚焦的涵盖范围和生成信息摘要的能力。同时,我们还将问题类型信息融入到解码器的输入中,实现了问题类型驱动的摘要生成,并在 MeQSum 基准语料库上进行了评估,该框架超过了最先进方法 10.2 ROUGE-L 分,并进行手动评估以评估所生成的摘要的正确性。
Jun, 2021
本研究提供了一个包含消费者健康问题答案的问答驱动摘要集 MEDIQA Answer Summarization dataset,可用于评估抽取式或抽象式算法生成的单个或多个文档,展示了基线和最新深度学习总结模型的结果,并推动医学问题回答中的机器学习研究。
May, 2020
通过知识引导和语义自监督方法,引入了一个医疗问题理解和回答系统,该系统可以对较长、详细和非正式措辞的患者提出的问题(称为 “消费者健康问题”)进行处理。
Sep, 2022
电子健康记录的总结可以极大地减少患者和医务人员的 “屏幕时间”。近年来,通过使用最先进的神经模型,电子健康记录的总结已经采用了机器学习流程。然而,这些模型产生了不够令人满意的结果,这要归因于很难获取足够的注释数据进行训练。此外,考虑到电子健康记录的整个内容在总结中的要求,由于现代大型语言模型(LLMs)中的注意机制增加了二次复杂度,导致性能较差。我们在此提出了一种方法,通过结合语义搜索、检索增强生成(RAG)和使用最新的 LLMs 的问答方法来减轻这些缺点。在我们的方法中,总结是根据专业学科专家(SMEs)认为的重要问题的答案的提取。我们的方法非常高效;几乎不需要训练;不会受到 LLMs 的 “幻觉” 问题的困扰;而且可以确保多样性,因为总结中不会有重复的内容,而是针对特定问题的多样答案。
Jan, 2024
本文提出了一种基于强化学习的抽象式问题摘要框架,该框架通过 downstream 任务中的问题类型识别和问题重点识别得到两个新颖的奖励来规范问题生成模型,从而确保问题摘要的语义有效并鼓励包含关键的医疗实体 / 重点。作者在两个基准数据集上对其所提出的方法进行了评估,并取得了比现有模型更高的性能。手动评估总结结果表明生成的问题更具多样性且不具备基线总结的不准确性。
Jul, 2021
在现代医疗时代,迅速生成医疗问题摘要对知情和及时的患者护理至关重要。本文介绍了多模态医疗问题摘要(MMQS)数据集,该数据集将医疗查询与图像辅助相结合,便于更丰富、更细致地理解患者需求。我们提出了一个基于 Contrastive Language Image Pretraining (CLIP) 和 Large Language Models (LLMs) 的框架,包括四个模块,用于识别医疗障碍、生成相关上下文、过滤医疗概念和制作具有视觉感知的摘要。通过利用我们的 MMQS 数据集,展示了图像视觉线索如何增强医学细致摘要的生成。这种多模态方法不仅提升了医疗决策过程,还促进了对患者查询的更细致理解,为个性化和响应式医疗护理的未来研究奠定了基础。
Dec, 2023
本文通过在医学百科全书段落中以疾病名称预测为重点的 Masked Language Modeling 方法,提高了医学多项选择题回答准确率;本文还展示了基于生成的 MCQA 数据集的 fine-tuning 方法胜过基于 MLM 的方法,并且正确遮盖答案线索对于良好表现非常关键。我们发布了新的预训练数据集,并在 4 个 MCQA 数据集上实现了最新最好的结果,在 MedQA-USMLE 上基础型号效果提高了 5.7%。
Mar, 2023
研究提出了一种名为 ClinQG4QA 的框架,该框架借助问答生成来合成新的临床背景下的 QA 对,提高 QA 模型的性能,同时还引入了 seq2seq-based 问题短语预测模块来扩大生成的多样性。该方法在实验中表现出了显著的精度提升(最高达 8%),而 QPP 模块对此有着重要作用。
Oct, 2020
Biomedical entity linking is improved using BioELQA, a model that treats it as multiple choice question answering, capturing fine-grained interactions and addressing challenges with long-tailed entities.
Feb, 2024