综合评估医疗机器学习的基准，提出一种基于医学信息志(MIMIC-III)的基准，让我们可以直接比较预测性能，并评估生存率、住院时间、表型和患者恶化任务的进展。我们发现，在这些任务上，尽管社区参与度高，但在过去的三年里，几乎没有真正显著的进展。通过我们的元分析，我们发现，深度递归模型的性能仅在某些任务上优于逻辑回归。最后综合这些结果，提出未来医学机器学习基准所需的理想特性。

Oct, 2020

本研究介绍了一种新的基准测试套件，称为DR.BENCH，旨在开发和评估具有临床诊断推理能力的cNLP模型，这是第一个被设计为自然语言生成框架以评估预训练语言模型的临床任务套件。

Sep, 2022

提出了一个名为BenchMD的基准测试平台，旨在评估面向临床任务的多个医疗模态数据上的通用AI算法如何处理，包括使用modality-agnostic方法和self-supervised learning技术，研究结果表明当前没有一种方法可以在所有模态上实现出色性能。

Apr, 2023

介绍了医疗信息记录领域中基于生成模型的 AI 技术，提出了 Ambient Clinical Intelligence Benchmark (ACI-BENCH) 语料库，并对该语料库的性能评估进行了阐述。

Jun, 2023

我们的研究论文针对数据有效学习在医学领域的研究空白，引入了一种全面的基准，用于评估医学领域中的数据有效学习。该基准包括来自31个医疗中心的数百万数据样本的数据集（DataDEL），用于对比的基线方法（MedDEL），以及客观衡量数据有效学习性能的新评估指标（NormDEL）。我们广泛的实验结果表明，基线方法MedDEL仅使用5%的数据就可以达到与原始大数据集相当的性能。建立这样一个开放的数据有效学习基准对医学人工智能研究社区至关重要，因为它促进了高效数据利用、推动协作突破和发展成本效益高、可扩展且有影响力的医疗解决方案。

Jan, 2024

医学和人工智能工程代表了两个不同的领域，每个领域都有数十年的出版历史。两个有重叠术语的不同领域合作时，可能会出现沟通不畅和误解。本文通过考察历史文献，包括文章、写作指南和教材，追溯数据集术语的分歧演化及其影响。通过明确这些数据集的准确和标准化描述，可以展示人工智能应用在医学中的健壮性和普适性。本文还识别了常被误解的术语，并提出了解决方案以减少术语混淆。为了提高医学人工智能中的沟通准确性，本综述旨在促进这个交叉学科领域更有效和透明的研究方法。

Apr, 2024

该研究回顾了健康医疗领域中基于大型语言模型的人工智能生成文本的人工评估方法，并使用QUEST框架提出了一个标准化和统一的人工评估方法，旨在提高可靠性和适用性。

May, 2024

本研究解决了现有基准无法全面评估大型语言模型在医疗健康领域的临床技能的问题。我们提出的MedQA-CS框架借鉴了医学教育中的客观结构化临床考试，提供了一种包括公开数据和专家注释的全面评估方式，评估结果表明MedQA-CS在临床技能评估上比传统的选择题基准更具挑战性。这项工作的潜在影响在于推动对临床能力评估更加全面的标准建立。

Oct, 2024

本文提出了一个用于评估医疗领域语言模型的临床命名实体识别基准，解决了从临床叙事中提取结构化信息这一重要自然语言处理任务的空白。该基准通过提供一个标准化的平台来评估各种语言模型（如编码器和解码器架构），并使用经OMOP共同数据模型标准化的开放临床数据集，以实现各医疗领域的临床实体识别及分类。研究的主要成果是制定了模型性能的全面评估框架，促进了临床实体识别任务的透明度和创新。

Oct, 2024

本研究针对大型语言模型在医疗领域应用中的评估需求，提供了对多种医疗基准数据集的全面调查。这些数据集涵盖文本、图像及多模态内容，针对电子健康记录和临床任务的发展，提出了多样化数据集的重要性及其对医学人工智能的潜在影响。

Oct, 2024