医学影像分析中，通过比赛来评估算法优劣的方式存在一些问题，如果评估不当会导致参赛者只是成绩提高了但并没有真正解决问题，因此提出了基于定性研究和定量研究的两类比赛类型，其中定量研究类似于实际的部署挑战。

Oct, 2018

学术挑战是推动现有技术发展、将特定主题和问题置于科学界关注的有效手段，同时也是缩小受限社群在访问和参与塑造研究领域方面的差距的重要方式。本文回顾了过去几年里在机器学习及相关领域内最具影响力的竞赛，并分析了各个学科领域的挑战。对科学挑战的目标、主要成就和未来几年的期望进行了审视。

Dec, 2023

数据科学研究正在经历一场由技术、互联网和不断增长的计算能力驱动的革命。我们在此提出，需要创造性地利用科学研究和算法开发社区作为强大创新的轴心，通过关键评估、社区实验和集众智等方式，让这些社区参与科学发现探索，从而带来发展新的数据驱动、可复现且经过充分基准测试的算法解决方案，来解决当前感兴趣的基础性和应用性问题。通过协调社区参与高度复杂和大规模数据的分析，可以找到最佳应对这些挑战的鲁棒方法学。当社区参与采用竞赛形式，也被称为挑战赛时，分析方法的验证在本质上得到解决，建立了性能基准。最后，挑战赛促进跨学科开放创新，创建能够直接或间接协作解决重要科学差距的社区。通过共同努力，参与者可以解决诸如健康研究、气候变化和社会公正等各种重要问题。最重要的是，挑战赛可以催化和加速将复杂数据合成知识或可执行信息的过程，应被视为一个产生持久社会和研究贡献的强大工具。

Dec, 2023

研究了如何在挑战设置中评估不同竞争者（算法）的表现，分析了 MeOffendEs @ IberLEF 2021 比赛的结果，并提议通过重采样技术（引导）进行推理，以支持挑战组织者的决策。

May, 2023

本章全面介绍了组织人工智能竞赛中涉及的实用方面，包括激励参与的策略、有效的沟通技巧、与领域趋势的对齐、奖项结构、招募机会等。还讨论了社区参与的要点、组织最佳实践和有效传播挑战成果的方法。最后，本章介绍了处理逻辑、成本、所需人力和资源分配等挑战管理和执行的方面。通过研究这些实际问题，读者将获得从构思到完成的人工智能竞赛组织中应用的可行的见解。

Jan, 2024

AI 挑战的后续活动包括识别不同类型的活动的目标受众、列举挑战的各种输出及其收集方法，并提供了一个典型后续活动论文的模板，包括可能的图表以及如何将挑战转化为一个长期有效的基准的建议。

Dec, 2023

人工智能竞赛的生态系统是一个多样化和多方面的领域，其中包括各种平台，每年举办大量的竞赛，以及专门致力于单一竞赛的众多专业网站。本章对该领域的主要服务进行了广泛审查，并阐述了一些促进这些挑战独立托管的替代方法。

Dec, 2023

我们总结并讨论了针对语言和视觉的理解方面的一些挑战，其中解决方案将这两种模式紧密联系起来，以实现联合学习和推理过程。我们提供了一些解决方案，并在基于室内图像的问题回答任务上展示了一些解决方案，该任务建立了视觉图灵挑战。最后，我们辩称除了现有数据集外，我们还需要依靠 “社交共识” 来创建适当的基准。

Oct, 2014

本文中对已进行的生物医学图像分析挑战进行全面分析，展示了挑战的重要性，并表明缺乏质量控制具有重要影响，因此建议采用最佳实践指南以避免问题，并针对未来需解决的开放性研究问题进行定义。

Jun, 2018

基于作者自身经验和 80 多个 datathon 挑战活动以及 60 多个合作伙伴组织自 2016 年以来的见解，我们提供了指引和建议，作为组织者在 datathon 的数据相关复杂性中导航的资源，并将我们提出的框架应用于 10 个案例研究。

Sep, 2023