本文提出了一个自动化框架来测量数据分布对自然语言处理模型性能和评估的影响，并通过两组实验表明数据的分布对评估具有统计学上的重要性，并且可预测模型的泛化能力。

Mar, 2024

我们介绍了一个数据集，它包含了在 12 个翻译方向上，在六年时间内每周收集的商业机器翻译。我们假设商业系统会随着时间改进，这使我们能够评估基于对最近翻译的偏好的机器翻译度量标准。我们的研究确认了机器翻译度量研究中的几个之前的发现，并展示了该数据集作为度量评估的测试平台的价值。我们将我们的代码发布在此 https URL

Jul, 2024

研究了自动度量在机器翻译系统开发和评估中的问题，发现现有的判断度量方法对于用于评估的翻译非常敏感，特别是存在异常值的情况下，经常会导致关于指标作用的错误结论。研发了一种用于阈值性能提高的算法，可以模拟在与人工判定相比的情况下出现的 2 类误差。这些结果表明，需要改进度量评估和系统性能评估协议。

Jun, 2020

当前的自动评估翻译质量的度量方法往往只关注区分优劣翻译对的能力，忽视了对相同原文的各种翻译的可靠性。本文通过实验证实了这一点，并表明目前的度量方法对翻译质量中微妙的差异不敏感。鉴于这一发现，我们转向检测高质量的正确翻译，这在实际决策场景中优先考虑正确性而非细致评估质量十分重要。我们以 MQM 框架作为黄金标准，系统地压力测试了当前度量方法对人工标记为无误的翻译的能力。我们的发现揭示了当前度量方法往往对翻译质量过高或低估，表明自动评估方法有很大的改进空间。

May, 2024

通过定义和衡量一系列度量评估基准中的方差，包括初始化中的随机性和训练过程中的单调性，本研究提供了对各种方差度量的实证估计，并为从业者提供了考虑和建议。研究发现，简单的改变策略任务（如 MMLU）为较小规模（约 7B）的模型降低了方差，而受人类测试文献启发的更复杂方法（如项目分析和项目反应理论）在降低方差方面效果不明显。总体而言，本研究通过对评估基准中的方差提供了洞察，提出了降低方差的语言模型特定技术，并鼓励从业者在比较模型时谨慎考虑方差。

Jun, 2024

该研究对机器翻译中评估标准的可靠性进行了探究，发现使用自动指标作为唯一评判标准可能导致错误决策，需要依赖人工判断作为参考，并发布了收集到的大规模人工翻译质量评价数据集，以供进一步研究。

Jul, 2021

评估自然语言处理中评价指标对非标准化方言的鲁棒性，发现现有指标在对瑞士德语文本生成输出的评估上存在困难，提出了增加鲁棒性的初步设计方案。

Nov, 2023

本论文提出了一个模型不可知的数据集评估框架，通过基于经典测试理论的统计分析，评估数据集的可靠性、难度和有效性等三个基本维度，并以命名实体识别为案例研究，介绍了 9 个统计指标用于评估数据集的质量，实验结果和人工评估验证了该框架的有效性，发现数据集质量对模型绩效有显著影响，因此在模型训练或测试前应进行数据集质量评估或针对性的数据集改进。

Dec, 2022

本文探讨了视觉化语言生成中的一个重要问题：多个参考数据集的样本方差如何影响模型性能，通过对几个多重参考数据集和相应的视觉语言任务进行实证研究，结果表明在实验中报告多样性是最重要的，而 CIDEr 的评价指标相对于其他指标来说具有更大的样本方差，这些研究指导了未来可靠数据集的设计。

Oct, 2020

通过模拟对比机器学习算法的整个基准测试过程，我们发现数据采样、参数初始化和超参数选择对结果的影响显著。进一步分析今天所用的主要比较方法，我们提出一种反直觉的结果，即在不增加计算成本的情况下，将更多的变化源添加到不完美的估计器中可以接近更理想的估计器。通过五个不同的深度学习任务和架构，分析改进检测错误率，提出了性能比较的建议。

Mar, 2021