Mar, 2024

自然语言处理竞赛中系统性能分析

PDF
TL;DR合作竞争的科学和技术领域变得越来越受欢迎。本文描述了一种评估方法来对比竞赛结果和竞争。这种方法具有普适性，但是以八个自然语言竞赛为案例进行了说明，涉及分类和回归问题。所提出的方法具有多种优势，包括与修正机制的即插即用比较和置信区间的包含。此外，我们引入了一些指标，使组织者能够评估竞赛的难度。我们的分析显示了我们方法在有效评估竞赛结果方面的潜在有用性。
collaborative competitionsevaluation methodologystatistical analysiscompetition resultsorganizers
发现论文，激发创造
  • 自然语言处理的可复现性分析：用多个数据集测试意义

    该论文提出了一种重复性分析框架，用于对 NLP 任务算法的多个比较进行统计学分析，相对于 NLP 文献中目前未经统计证明的传统做法具有显著的理论优势，并通过多个应用案例展示了其实证价值。

    Sep, 2017

  • 挑战方案中分类器的比较

    研究了如何在挑战设置中评估不同竞争者（算法）的表现，分析了 MeOffendEs @ IberLEF 2021 比赛的结果，并提议通过重采样技术（引导）进行推理，以支持挑战组织者的决策。

    May, 2023

  • 自然语言处理性能评估指标的全球分析

    本文介绍了自然语言处理领域中用于测量模型性能的度量标准，发现当前使用的大多数指标存在评估不足及解释性差等问题，导致透明性和可重复性的降低。

    Apr, 2022

  • AI 竞赛 - 使用统计复采样稳健地排名求解器

    通过统计重采样技术，本研究调查了竞赛结果的普遍适用性问题，并提出了一种基于重采样性能数据的统计稳健解算器排名方法。应用于最近的 SAT、AI 规划和计算机视觉竞赛，分析结果显示了解算器性能的频繁统计并列以及与基于简单评分的官方结果相比的排名倒置。

    Aug, 2023

  • Self-Improving-Leaderboard（SIL）：呼唤以实际为中心的自然语言处理排行榜

    本文主张排行榜竞赛应该除了在给定的测试数据集上进行模型表现的评估外，也应该在实际应用场景下评估模型的表现，并提出了解决当前排行榜系统存在的问题的新模式，以期引起向更实际应用场景为中心的排行榜竞赛的范式转变。

    Mar, 2023

  • 最佳系统是什么？自然语言处理基准测试的新视角

    该研究提出一种新的基于社会选择理论的系统排名方法，用于评估机器学习中使用 benchmark 的效果。该方法在评估自然语言处理中的预训练模型时更为可靠且稳健，有别于简单的平均聚合，可为实际应用提供最佳的系统选择。

    Feb, 2022

  • 一种基于组合投资的竞争结果分析方法

    本文介绍了基于组合分析方法的 MiniZinc Challenges 和 SAT competitions 比赛的结果，并提出了新的关于性能分析的见解。

    May, 2022

  • 比较单个性能得分并不能得出关于机器学习方法的结论

    本文研究了模型性能评估方法的可靠性问题，并探讨了仅基于分割数据集评估模型性能的评估方法存在的缺陷。作者提出了基于分数分布的评估方法来代替传统评估方法。

    Mar, 2018

  • 神经语言处理中的分析方法：一项调查

    本综述论文介绍了自然语言处理领域中使用神经网络模型替代传统系统的进展情况及其分析方法，并根据主要研究趋势进行分类，指出现有限制，并提出未来工作的潜在方向。

    Dec, 2018

  • 当前自然语言处理研究中的方法论：以 Benchmark 为目标

    本文围绕语言任务与数据集的挑战性、基准模型及其改进、研究进展等方面，探讨了该领域中的研究模式与进展。

    Jul, 2020