ICLRApr, 2024

朝着无偏评估电子病历 SQL 中无法回答问题的检测

PDF
TL;DR为了测试系统的可信度，将无法回答的问题纳入电子病历问答系统是至关重要的，因为提供不存在的答案可能会误导医生的诊断。然而，我们的工作中发现了 EHR QA 系统中这些无法回答问题存在的数据偏见，它们往往可以通过特定的 N-gram 模式过滤来辨别。这样的偏见危及 QA 系统评估的真实性和可靠性。为解决此问题，我们提出了一种简单的去偏方法，通过调整验证集和测试集之间的分割来中和 N-gram 过滤的不适当影响。通过对 MIMIC-III 数据集的实验，我们展示了 EHRSQL 的现有数据偏见以及我们的数据划分策略在减轻这种偏见方面的有效性。
ehr qa systemsunanswerable questionsdata biasn-gram filteringdata split strategy
发现论文，激发创造
  • 电子病历文本到 SQL 的实用基准测试

    我们提出了一种新的文本到 SQL 数据集，用于电子健康记录（EHRs）。该数据集提供了一个挑战，需要模型可以生成反映医院需求范围的 SQL 查询，包括简单检索和复杂操作，如计算生存率，同时需要理解时间表达式以回答与时间敏感相关的问题，并根据预测置信度区分问题是否有答案，以发展和评估结构化 EHR 数据上的 QA 模型并迈向文本到 SQL 研究和医疗保健方面部署之间的缩小差距。

    Jan, 2023

  • LG AI Research & KAIST 参与 EHRSQL 2024：利用伪标记的无法回答的问题自我训练大语言模型，构建可靠的电子病历文本到 SQL 系统

    通过使用伪标记的无法回答的问题，我们提出了一种自我训练策略，以提高电子健康记录（EHR）的文本转 SQL 模型的可靠性。该方法包括两阶段的训练流程，紧接着使用基于令牌熵和查询执行的过滤方法。在 EHRSQL 2024 共享任务中，我们的方法证明了其有效性并展示了通过更可靠的文本转 SQL 系统改善医疗决策的潜力。

    May, 2024

  • DrugEHRQA：一个针对医学相关查询的结构化和非结构化电子病历问答数据集

    该研究开发了第一个多模式药物电子健康记录问答数据集，其中包含从公开可用的电子健康记录中结构化表格和非结构化笔记中提取的问答对。研究目的是为多模式问答系统提供基准数据集，并通过使用非结构化临床数据的上下文来改善电子健康记录结构化数据上的问答。

    May, 2022

  • EHRSQL 2024 中的 ProbGate: 通过概率阈值过滤和错误处理提高 SQL 查询生成的准确性

    利用深度学习的语言模型对医学领域的病历查询进行转换成 SQL 查询的实证研究，并使用熵基方法和基于概率分布的方法过滤无法回答的结果，从而实现了有效的病历查询结果过滤。

    Apr, 2024

  • 针对结构化电子病历的问答不确定性感知文本转程序

    本文设计了程序为基础的模型（NLQ2Program）以利于未来拓展医疗多模态数据和解决复杂推理的电子健康记录问答任务，该模型在没有金标程序的情况下表现良好，运用不确定性分解方法可测度输入问题的模糊性。

    Mar, 2022

  • KU-DMIS 在 EHRSQL2024 上的研究：通过问题模板化生成 SQL 查询

    使用新颖的文本至 SQL 框架，我们处理超出数据库范围或超出系统能力的无法回答的问题，将其标准化并与表模式相结合，以确保准确的数据检索，实现在临床自然语言处理工作坊的 EHRSQL-2024 挑战中具有竞争力的表现。

    May, 2024

  • EHRNoteQA：临床环境下评估大型语言模型的患者特定问题回答基准

    这项研究介绍了 EHRNoteQA，这是一个为评估临床环境中大型语言模型（LLMs）而定制的创新患者特定问题回答基准。它是首个采用多项选择问题回答格式的数据集，通过分析多个临床记录来回答单个问题，与其他格式相比，在自动评估中有效地评估 LLMs 的可靠性得分。在各种大型语言模型上进行的综合评估表明，它们在 EHRNoteQA 上的得分与通过临床医生评估的真实医学问题的表现更密切相关，凸显了 EHRNoteQA 在评估医学应用的 LLMs 中的重要性，以及它在促进 LLMs 融入医疗系统中的关键作用。该数据集将在 PhysioNet 凭据访问下向公众提供，促进这个重要领域的进一步研究。

    Feb, 2024

  • 学习如何像医生一样提问

    本文介绍了 Discharge Summary Clinical Questions（DiSCQ）这一新的数据集，由 100 多个 MIMIC-III 出院摘要中的医学专家生成了 2000 多个问题。我们进行了基于触发词检测的质量评估，发现在 62% 的情况下，基线模型能够高质量地生成问题，并用无监督的答案检索对其进行配对。这项研究的目的是为了进一步研究现实临床问答和问句生成。

    Jun, 2022

  • 无法回答的视觉问答

    本研究旨在构建一个值得信赖的 AI 系统，通过为 Visual Question Answering（VQA）模型教授弃权无法回答问题的能力。研究通过提供一个名为 UNK-VQA 的全面数据集来填补这一研究空白，该数据集特别设计用于解决无法回答的问题。同时，通过对图像或问题进行有意的扰动，充分评估了多模式大型模型的零或少样本性能，并提出了解决这些无法回答问题的简单方法。这一数据集将为提升 VQA 模型的弃权能力提供一个有价值的基准，从而增加 AI 系统的可信度。

    Oct, 2023

  • 电子健康记录的问答：数据集和模型的综述

    该研究对现有关于电子病历问答的工作进行了方法学综述，发现电子病历问答是相对较新且未被充分探索的研究领域，对于电子病历问答数据集和模型的使用进行了分析。

    Oct, 2023