学术竞赛
数据科学研究正在经历一场由技术、互联网和不断增长的计算能力驱动的革命。我们在此提出,需要创造性地利用科学研究和算法开发社区作为强大创新的轴心,通过关键评估、社区实验和集众智等方式,让这些社区参与科学发现探索,从而带来发展新的数据驱动、可复现且经过充分基准测试的算法解决方案,来解决当前感兴趣的基础性和应用性问题。通过协调社区参与高度复杂和大规模数据的分析,可以找到最佳应对这些挑战的鲁棒方法学。当社区参与采用竞赛形式,也被称为挑战赛时,分析方法的验证在本质上得到解决,建立了性能基准。最后,挑战赛促进跨学科开放创新,创建能够直接或间接协作解决重要科学差距的社区。通过共同努力,参与者可以解决诸如健康研究、气候变化和社会公正等各种重要问题。最重要的是,挑战赛可以催化和加速将复杂数据合成知识或可执行信息的过程,应被视为一个产生持久社会和研究贡献的强大工具。
Dec, 2023
研究了如何在挑战设置中评估不同竞争者(算法)的表现,分析了 MeOffendEs @ IberLEF 2021 比赛的结果,并提议通过重采样技术(引导)进行推理,以支持挑战组织者的决策。
May, 2023
通过研究 Kaggle 竞赛结果,发现大多数 Kaggle 数据集的间歇性和熵比 M - 竞赛更高,全球组合模型往往优于本地单一模型,并且发现梯度提升决策树的强大性能,神经网络预测的成功率越来越高,各种技术都与机器学习模型相适应。
Sep, 2020
本章全面介绍了组织人工智能竞赛中涉及的实用方面,包括激励参与的策略、有效的沟通技巧、与领域趋势的对齐、奖项结构、招募机会等。还讨论了社区参与的要点、组织最佳实践和有效传播挑战成果的方法。最后,本章介绍了处理逻辑、成本、所需人力和资源分配等挑战管理和执行的方面。通过研究这些实际问题,读者将获得从构思到完成的人工智能竞赛组织中应用的可行的见解。
Jan, 2024
人工智能竞赛的生态系统是一个多样化和多方面的领域,其中包括各种平台,每年举办大量的竞赛,以及专门致力于单一竞赛的众多专业网站。本章对该领域的主要服务进行了广泛审查,并阐述了一些促进这些挑战独立托管的替代方法。
Dec, 2023
挑战可以被看作是一种激励参与者解决严肃任务的游戏,竞争组织者必须制定有效的游戏规则,并且这些规则有多个目标,除了使游戏对参与者有趣之外,还可能包括解决现实问题、推进科学或技术领域、进行科学发现和教育公众。本文提供了为挑战创建强大计划的指南。
Jan, 2024
通过对 IEEE ISBI2021 和 MICCAI2021 举行的 80 个比赛的统计分析发现,当今图像分析方法中常用的成功算法有多任务学习和 / 或多阶段管道、强调数据增强、图像预处理、数据管理和后处理;获胜团队常常具有医学图像分析的博士学位、五年的经验和四年的深度学习经验;为获得高排名的团队,他们注重将评价指标反映到方法设计中,并侧重于分析并处理失败案例,但只有 11% 的算法完全解决了领域问题。
Mar, 2023
合作竞争的科学和技术领域变得越来越受欢迎。本文描述了一种评估方法来对比竞赛结果和竞争。这种方法具有普适性,但是以八个自然语言竞赛为案例进行了说明,涉及分类和回归问题。所提出的方法具有多种优势,包括与修正机制的即插即用比较和置信区间的包含。此外,我们引入了一些指标,使组织者能够评估竞赛的难度。我们的分析显示了我们方法在有效评估竞赛结果方面的潜在有用性。
Mar, 2024