MultiBench 是一个系统性和统一化的基准测试，跨越 15 个数据集，10 种模态，20 种预测任务和 6 个研究领域。MultiBench 提供自动化的端到端机器学习流程，简化和标准化数据加载，实验设置和模型评估。随着大量的实践证明，不同研究领域提出的方法可以改善 9/15 数据集的最先进性能。MultiBench 处理了跨模态一般化，复杂性和健壮性的问题，对于未来研究具有重要的挑战性，包括可扩展性到大规模多模态数据集和对现实缺陷的健壮性。

Jul, 2021

该研究提供了一个全面的基准测试，用于多样化评估医学图像分类的常见卷积神经网络和 Transformer-based 模型，并发现计算效率高的训练方案和现代基础模型在减少昂贵的端到端训练和资源精细的方法之间具有潜力。此外，研究结果表明，较高分辨率未必在一定阈值之上始终提高性能，提倡在原型阶段尤其使用较低分辨率以加快处理速度。同时，该研究也确认了卷积模型与 ViT-based 模型的竞争力，强调了不同模型架构的内在能力的重要性。希望该研究的标准化评估框架能够提高 MedMNIST + 数据集以及未来研究的透明度、可复现性和可比性。

Apr, 2024

我们创建并开源了基于 MedMNIST + 收藏的 12 个数据集和 9 种成像模式的基准数据集 MedMNIST-C，模拟了不同严重程度的任务和模式特定图像损坏以全面评估已建立算法对真实世界工件和分布偏移的鲁棒性，并提供定量证据表明我们简单易用的人工损坏方法可用于提高模型的鲁棒性。与传统的通用增强策略不同，我们的方法利用领域知识，在与广泛采用的方法相比时表现出更高的鲁棒性。通过引入 MedMNIST-C 并开源相应的库以实现有针对性的数据增强，我们为医学成像领域越来越具有挑战的鲁棒方法的发展做出贡献。代码可在此 https URL github.com/francescodisalvo05/medmnistc-api 找到。

Jun, 2024

本次研究针对于医学图像领域中，异常检测方法的广泛应用，建立了包含六个重新组织的数据集、三种关键指标和 14 种业内领先的 AD 算法的全面评估基准。该基准将有利于这个领域内进行公正的比较与优化，共同推进医学图像领域中异常检测算法的发展。

Jun, 2023

通过深入文献和在线资源的系统性研究，我们编制并发布了一个全面的与临床和生物医学自然语言处理（NLP）广泛领域相关的数据集和基准目录，对 450 个 NLP 数据集进行了手动系统化和注释处理，并与跨医疗应用的相关任务进行了比较，结果显示，当前可用的人工智能基准测试不同于希望在临床环境中进行人工智能自动化的任务，因此需要创建新的基准测试以填补这些差距。

Jan, 2022

综合评估医疗机器学习的基准，提出一种基于医学信息志 (MIMIC-III) 的基准，让我们可以直接比较预测性能，并评估生存率、住院时间、表型和患者恶化任务的进展。我们发现，在这些任务上，尽管社区参与度高，但在过去的三年里，几乎没有真正显著的进展。通过我们的元分析，我们发现，深度递归模型的性能仅在某些任务上优于逻辑回归。最后综合这些结果，提出未来医学机器学习基准所需的理想特性。

Oct, 2020

通过将机器学习技术与医学图像分析领域相融合，本研究介绍了一种名为医学图像元数据集的新型多领域、多任务元数据集，该元数据集包含 19 个医学成像数据集，涵盖 10 个不同领域和 54 个医学任务，并且采用相同的格式标准化，可在 PyTorch 或其他机器学习框架中直接使用，经过技术验证证明了其实用性，在完全监督和跨领域少样本学习基线上取得了良好的效果。

Apr, 2024

为了解决标准化鲁棒性评估指标缺乏和过多无关基准数据集的问题，我们引入了 XIMAGENET-12，一个可解释的基准数据集，包含 20 万多张图像和 15,600 个手动语义注释。同时，我们提出了一个新的鲁棒性评估标准，超越了模型生成能力的评估。研究人员和从业者可以利用这个资源，在具有挑战性的条件下评估他们的视觉模型的鲁棒性，并从实际的计算机视觉系统需求中受益。

Oct, 2023

该研究提出了利用来自公开可用的激痛医学信息库（MIMIC-III）数据集的四个临床预测基准，旨在解决机器学习在医疗保健研究中缺乏公开可用基准数据集的问题。

Mar, 2017

提出了新的可学习的协同学习方法，用以解决多模态深度学习模型中所存在的模型复杂性升级问题，以及其应用于医学临床数据处理中所面临的扩展性难题，并在三个多模态数据集上展现了其卓越的表现。

Dec, 2022