Jan, 2022

人工智能发展的基准数据集未能满足医疗专业人员的需求

PDF
TL;DR通过深入文献和在线资源的系统性研究，我们编制并发布了一个全面的与临床和生物医学自然语言处理（NLP）广泛领域相关的数据集和基准目录，对 450 个 NLP 数据集进行了手动系统化和注释处理，并与跨医疗应用的相关任务进行了比较，结果显示，当前可用的人工智能基准测试不同于希望在临床环境中进行人工智能自动化的任务，因此需要创建新的基准测试以填补这些差距。
发现论文，激发创造
  • 临床时间序列数据的多任务学习和基准测试

    该研究提出了利用来自公开可用的激痛医学信息库（MIMIC-III）数据集的四个临床预测基准，旨在解决机器学习在医疗保健研究中缺乏公开可用基准数据集的问题。

    Mar, 2017

  • ACI-BENCH: 应用于基于情境的临床智能自动生成访问记录的基准数据集

    介绍了医疗信息记录领域中基于生成模型的 AI 技术，提出了 Ambient Clinical Intelligence Benchmark (ACI-BENCH) 语料库，并对该语料库的性能评估进行了阐述。

    Jun, 2023

  • DrBenchmark：法国生物医学领域的大型语言理解评估基准

    首次公开提供的法语生物医学语言理解基准 DrBenchmark，评估 8 种最新的预训练掩码语言模型 (MLMs) 的通用和生物医学特定数据上的性能，以及英语特定的 MLMs 来评估它们的跨语言能力。

    Feb, 2024

  • DR.BENCH：临床自然语言处理的诊断推理基准

    本研究介绍了一种新的基准测试套件，称为 DR.BENCH，旨在开发和评估具有临床诊断推理能力的 cNLP 模型，这是第一个被设计为自然语言生成框架以评估预训练语言模型的临床任务套件。

    Sep, 2022

  • 基于 MIMIC 大型医疗数据集的深度学习模型对比

    本篇论文通过 MIMIC-III 数据集进行临床预测任务（如死亡率预测、住院时间预测以及 ICD-9 编码分组预测）的基准测试，结果表明，相较于基于机器学习模型和预测评分系统，深度学习模型在使用原始临床时间序列数据作为输入特征时有更好的表现。

    Oct, 2017

  • CliBench: 临床决策中大型语言模型在诊断、过程、实验室测试和处方方面的多方面评估

    将人工智能（AI）与临床诊断过程中的大型语言模型（LLMs）整合，可以显著提高医疗保健的效率和可访问性。本研究通过引入 CliBench—— 一个基于 MIMIC IV 数据集的新型基准测试，评估 LLMs 在临床诊断中的能力，覆盖了多种临床病例的诊断，并包括与临床有关的任务，如治疗程序识别、实验室检查和药物处方等。通过结构化输出本体，CliBench 能够深入了解 LLMs 在不同临床任务上的能力，从而为 LLM 在医疗保健领域的未来发展提供有价值的见解。

    Jun, 2024

  • 人工智能基准创建和饱和的全球动态映射

    人工智能的基准测试至关重要，但过度适应、饱和以及数据集集中化等问题已引起人们的关注。我们提出了一种方法来创建全球基准测试创作和饱和的简化地图，其中包括覆盖计算机视觉和自然语言处理的 3765 个基准测试的数据。我们发现许多基准测试很快趋于饱和，而其他一些则无法得到广泛利用。未来的基准测试应强调多功能性、广度和实用性。

    Mar, 2022

  • 评估可信 AI 医学数据质量的 METRIC 框架：一项系统综述

    通过系统评估医学数据集合，我们提出了 METRIC 框架，该框架包含了 15 个数据质量意识维度，帮助减少偏见、增加稳健性、提高可解释性，从而为医学中可信赖的人工智能奠定了基础。

    Feb, 2024

  • 自动医疗咨询系统基准：框架、任务和数据集

    本文提出两种支持自动医学咨询的框架，并创建了一个新的大型医学对话数据集，建立了包括命名实体识别，对话行为分类，症状标签推断，医疗报告生成和诊断导向的对话策略在内的五个独立任务。同时，文章提供了每个任务的基准结果，并公开了相关代码和数据集。

    Apr, 2022

  • 评估机器学习在纵向电子医疗数据上的进展

    综合评估医疗机器学习的基准，提出一种基于医学信息志 (MIMIC-III) 的基准，让我们可以直接比较预测性能，并评估生存率、住院时间、表型和患者恶化任务的进展。我们发现，在这些任务上，尽管社区参与度高，但在过去的三年里，几乎没有真正显著的进展。通过我们的元分析，我们发现，深度递归模型的性能仅在某些任务上优于逻辑回归。最后综合这些结果，提出未来医学机器学习基准所需的理想特性。

    Oct, 2020