Dec, 2022

统计数据集评估：可靠性，难度和有效性

PDF
TL;DR本论文提出了一个模型不可知的数据集评估框架，通过基于经典测试理论的统计分析，评估数据集的可靠性、难度和有效性等三个基本维度，并以命名实体识别为案例研究，介绍了 9 个统计指标用于评估数据集的质量，实验结果和人工评估验证了该框架的有效性，发现数据集质量对模型绩效有显著影响，因此在模型训练或测试前应进行数据集质量评估或针对性的数据集改进。
datasetevaluationmodel performancenamed entity recognitionstatistical metrics
发现论文，激发创造
  • 适用于命名实体识别的可解释性多数据集评估

    本文提出了一种可解释的评估方法，用于对自然语言处理任务中的命名实体识别进行分析，以帮助读者更好地理解不同模型及其相对优劣之处。通过将我们的分析工具提供给其他研究人员，我们希望能推动这一领域的进步。

    Nov, 2020

  • 基准透明度：测量数据对评估的影响

    本文提出了一个自动化框架来测量数据分布对自然语言处理模型性能和评估的影响，并通过两组实验表明数据的分布对评估具有统计学上的重要性，并且可预测模型的泛化能力。

    Mar, 2024

  • 探究自动机器翻译度量评估中的数据差异

    该研究发现自动翻译评价指标的表现对数据具有敏感性，而在评估时需要考虑数据差异，因为单一数据集的研究结果可能会导致与大多数其他数据集不一致的结果。

    Mar, 2022

  • 评估结果的有效性：评估组成性基准测试的一致性

    近年来，NLP 模型取得了巨大的进展，尤其是通过这方面的大量数据集进行性能评估。然而，有关特定数据集设计选择可能如何影响我们对模型能力的结论仍存在问题。本研究在组合泛化领域调查了六种建模方法在 4 个数据集上的表现，这些数据集根据 8 种组合分割策略进行划分，总计有 18 种组合泛化划分。我们的结果表明：i) 尽管所有数据集都设计用于评估组合泛化能力，但它们对建模方法的排名是不同的；ii) 由人类生成的数据集彼此之间更加一致，而与合成数据集之间的一致性较差；iii) 通常来说，数据集是否来自相同源头对于得到的模型排名的预测性更强，而是否保持相同的组合性解释则次之；iv) 数据中使用的词汇项目可以极大地影响结论。总的来说，我们的结果表明，在评估流行的评估数据集是否测量其意图时还有很多工作要做，建立更严格的评估标准可能有助于该领域的发展。

    Oct, 2023

  • 你熟悉哪些摘要数据集？

    本研究手动分析了三个流行的摘要数据集中的 600 份样本，并对 27 个最先进的摘要模型和 5 个流行的度量标准进行了彻底分析。 研究揭示出数据集具有不同的数据质量和复杂度分布，对样本复杂度强烈依赖，以及基于引用文本的质量差异导致真实摘要得分偏低等关键见解。

    Jun, 2021

  • 自然语言处理的可复现性分析：用多个数据集测试意义

    该论文提出了一种重复性分析框架，用于对 NLP 任务算法的多个比较进行统计学分析，相对于 NLP 文献中目前未经统计证明的传统做法具有显著的理论优势，并通过多个应用案例展示了其实证价值。

    Sep, 2017

  • 针对对话推荐系统的合成数据集评估

    本研究提出对生成模型产生的数据集进行多方面评估的框架，探讨了各种评估方法的优缺点

    Dec, 2022

  • 远程监督关系提取数据集：实现准确和一致的评估

    本文使用深度神经网络进行了遥感监督关系提取，通过建立新的人工标注测试数据集 NYT-H，对遥感监督法进行了更为准确和一致的评估，并发现与使用 DS 标注测试数据的对比系统的排名列表有所不同，说明人工标注数据对于遥感监督关系提取的评估是必要的。

    Oct, 2020

  • 分类应用中衡量数据质量的新度量方法（扩展版本）

    介绍并解释一种基于分类性能和数据退化的相关演变来度量数据质量的新指标，该方法具有模型无关性，并通过大量的数值实验以及具有可控和可解释质量的案例详细验证了所提出度量标准的实用性。

    Dec, 2023

  • 通过自编码器处理的空间中的决策树特征评估数据集质量

    本文探讨了机器学习分类任务中数据集质量评估的重要性，并提出了一个综合性框架进行数据集质量评估，旨在帮助研究人员和实践者评估数据集是否足够且具有特定任务所需的质量。

    Jun, 2023