合作竞争的科学和技术领域变得越来越受欢迎。本文描述了一种评估方法来对比竞赛结果和竞争。这种方法具有普适性，但是以八个自然语言竞赛为案例进行了说明，涉及分类和回归问题。所提出的方法具有多种优势，包括与修正机制的即插即用比较和置信区间的包含。此外，我们引入了一些指标，使组织者能够评估竞赛的难度。我们的分析显示了我们方法在有效评估竞赛结果方面的潜在有用性。

Mar, 2024

本文介绍了基于组合分析方法的 MiniZinc Challenges 和 SAT competitions 比赛的结果，并提出了新的关于性能分析的见解。

May, 2022

研究了如何在挑战设置中评估不同竞争者（算法）的表现，分析了 MeOffendEs @ IberLEF 2021 比赛的结果，并提议通过重采样技术（引导）进行推理，以支持挑战组织者的决策。

May, 2023

通过对 IEEE ISBI2021 和 MICCAI2021 举行的 80 个比赛的统计分析发现，当今图像分析方法中常用的成功算法有多任务学习和 / 或多阶段管道、强调数据增强、图像预处理、数据管理和后处理；获胜团队常常具有医学图像分析的博士学位、五年的经验和四年的深度学习经验；为获得高排名的团队，他们注重将评价指标反映到方法设计中，并侧重于分析并处理失败案例，但只有 11% 的算法完全解决了领域问题。

Mar, 2023

本文对于大规模和异构化的现代数据集中的信息排序问题提出了一种可靠性保证的机制，通过有序的信息刻画，充分利用计算资源进行高效程度排名的学习并在特定数据结构下进行了验证。

Aug, 2016

介绍了 AlphaRank，一种用于解决固定预算排名和选择问题的人工智能方法。使用蒙特卡罗模拟的策略为顺序采样决策建立马尔可夫决策过程，并利用经典的排名和选择程序作为基本策略来高效学习随机动态规划的价值函数。通过使用深度强化学习在给定先验的情况下对神经网络模型进行离线预训练来加速在线样本分配。还提出了一个可并行计算的框架来处理大规模问题，通过 “分而治之” 和 “递归” 相结合，提高了可扩展性和效率。数值实验证明了 AlphaRank 相比基本策略的显著改进，这可能归因于 AlphaRank 在平均值、方差和相关性权衡上的卓越能力，而这些特性通常被其他现有策略所忽略。

Feb, 2024

介绍 2021 年国际人工智能联合大会（IJCAI-21）上第一个旅行推销员问题（TSP）人工智能竞赛，关注基于学习的算法，介绍了该竞赛的问题、比赛安排、获胜方法和结果概述。竞赛的胜利方法使 AI 在随机路由问题上取得了技术进步，也使路由问题成为 AI 研究人员感兴趣的问题设定。同时，该比赛所使用的路由问题模拟器现已成为开源工具，可以成为其他研究人员使用的新 AI 方法基准测试。

Jan, 2022

本文介绍了利用自主重采样方法来计算置信区间和运行假设检验的方法， 并对几个自动评估度量进行了分析，发现自动评估度量的可靠性存在高度不确定性

Mar, 2021

数据科学研究正在经历一场由技术、互联网和不断增长的计算能力驱动的革命。我们在此提出，需要创造性地利用科学研究和算法开发社区作为强大创新的轴心，通过关键评估、社区实验和集众智等方式，让这些社区参与科学发现探索，从而带来发展新的数据驱动、可复现且经过充分基准测试的算法解决方案，来解决当前感兴趣的基础性和应用性问题。通过协调社区参与高度复杂和大规模数据的分析，可以找到最佳应对这些挑战的鲁棒方法学。当社区参与采用竞赛形式，也被称为挑战赛时，分析方法的验证在本质上得到解决，建立了性能基准。最后，挑战赛促进跨学科开放创新，创建能够直接或间接协作解决重要科学差距的社区。通过共同努力，参与者可以解决诸如健康研究、气候变化和社会公正等各种重要问题。最重要的是，挑战赛可以催化和加速将复杂数据合成知识或可执行信息的过程，应被视为一个产生持久社会和研究贡献的强大工具。

Dec, 2023

本文通过案例研究 Atari 100k 游戏数据集，强调在少量训练运行的深度强化学习算法中，为保证结果准确性和防止领域进展停滞，不可忽略数据的不确定性，提出用区间估计来评估强化学习算法的表现，并在常用数据集上分析了已有算法的性能，提出更为严谨的性能评估方法，并配有开源库 rliable。

Aug, 2021