MMOct, 2019

透明报告生物医学图像分析挑战

PDF
TL;DRBIAS statement proposes recommendations to standardize the reporting of biomedical image analysis challenges to improve their transparency, interpretability, and reproducibility.
biomedical image analysischallengesbiasreportingreproducibility
发现论文，激发创造
  • 生物医学图像分析竞赛排名需谨慎解读

    本文中对已进行的生物医学图像分析挑战进行全面分析，展示了挑战的重要性，并表明缺乏质量控制具有重要影响，因此建议采用最佳实践指南以避免问题，并针对未来需解决的开放性研究问题进行定义。

    Jun, 2018

  • 挑战结果不可重复

    采用临床试验评估新药疗效的同时，对医学图像分析领域进行基准测试需要通过挑战赛，然而多个医学图像分析挑战赛的分析表明，其质量控制标准可能存在巨大差异，因此本文针对参与者方法的可复现性问题提出了一个观点，尝试寻找替代性解释并重现算法提交结果，结果表明挑战赛排名可能不够可靠。

    Jul, 2023

  • 分析和可视化挑战结果的方法和开源工具包

    本文提出了一种基于 challengeR 开源框架的集成分析和可视化方法，以了解算法的相对和绝对性能，并证明该方法在医学图像分析领域和其他领域中具有重要应用价值。

    Oct, 2019

  • 超越排行榜：应对研究问题的见解和部署挑战

    医学影像分析中，通过比赛来评估算法优劣的方式存在一些问题，如果评估不当会导致参赛者只是成绩提高了但并没有真正解决问题，因此提出了基于定性研究和定量研究的两类比赛类型，其中定量研究类似于实际的部署挑战。

    Oct, 2018

  • 图像处理指标的普遍限制：一个图片故事

    本研究通过国际图像分析专家团队的 Delphi 过程，指出算法验证中经常存在的性能度量的局限性，无法全面评估自动算法的有效性及透明性，特别是在医学图像分析方面，这一问题尤为突出。

    Apr, 2021

  • AI 竞赛和基准测试：挑战和基准测试的生命周期

    数据科学研究正在经历一场由技术、互联网和不断增长的计算能力驱动的革命。我们在此提出，需要创造性地利用科学研究和算法开发社区作为强大创新的轴心，通过关键评估、社区实验和集众智等方式，让这些社区参与科学发现探索，从而带来发展新的数据驱动、可复现且经过充分基准测试的算法解决方案，来解决当前感兴趣的基础性和应用性问题。通过协调社区参与高度复杂和大规模数据的分析，可以找到最佳应对这些挑战的鲁棒方法学。当社区参与采用竞赛形式，也被称为挑战赛时，分析方法的验证在本质上得到解决，建立了性能基准。最后，挑战赛促进跨学科开放创新，创建能够直接或间接协作解决重要科学差距的社区。通过共同努力，参与者可以解决诸如健康研究、气候变化和社会公正等各种重要问题。最重要的是，挑战赛可以催化和加速将复杂数据合成知识或可执行信息的过程，应被视为一个产生持久社会和研究贡献的强大工具。

    Dec, 2023

  • VISION: 国家级标准化放射影像管理流程

    描述了建立与美国退伍军人事务部电子健康记录数据库相关联的受信任的放射学图像收集的经验和困难，包括在将图像从临床环境转移到研究就绪环境所需的特定程序以及可能阻碍自动化的问题和瓶颈。

    Apr, 2024

  • 为什么胜者是最好的？

    通过对 IEEE ISBI2021 和 MICCAI2021 举行的 80 个比赛的统计分析发现，当今图像分析方法中常用的成功算法有多任务学习和 / 或多阶段管道、强调数据增强、图像预处理、数据管理和后处理；获胜团队常常具有医学图像分析的博士学位、五年的经验和四年的深度学习经验；为获得高排名的团队，他们注重将评价指标反映到方法设计中，并侧重于分析并处理失败案例，但只有 11% 的算法完全解决了领域问题。

    Mar, 2023

  • 挑战方案中分类器的比较

    研究了如何在挑战设置中评估不同竞争者（算法）的表现，分析了 MeOffendEs @ IberLEF 2021 比赛的结果，并提议通过重采样技术（引导）进行推理，以支持挑战组织者的决策。

    May, 2023

  • BioASQ 挑战赛第七版的结果

    本文介绍了 BioASQ 挑战赛第七版的结果，该挑战赛致力于通过组织大规模生物医学语义索引和问答任务的挑战来促进系统和方法学的发展。今年有 30 个团队，100 多个系统参加了挑战，最好的系统能够超过强基准线，进一步推动了现有研究前沿。

    Jun, 2020