Oct, 2021

随机变量的最大值的预期验证性能和估计

PDF
TL;DR本文分析了预期验证性能的三个统计估计方法在计算预算方面的效果，并在合成和现实情况下对三个估计器进行评估。其中，无偏估计器具有最高方差，方差最小的估计器具有最大的偏差；最小均方误差的估计器在偏差和方差之间取得了平衡，呈现出经典的偏差 - 方差权衡。我们使用预期验证性能来比较不同模型，并分析每个估计器导致选择哪个模型表现最佳的错误数量。我们发现两个有偏估计器导致最少的错误结论，这提示了最小化方差和均方误差的重要性。
nlpexperimental resultsperformance estimatorsbias-variance tradeoffmodel comparison
发现论文，激发创造
  • 估计最大期望值：（嵌套）交叉验证和最大样本平均值的分析

    研究通用的随机变量最大期望值的两种常见估计量的准确性：最大样本平均值的一般化和交叉验证。通过研究和限定上述估计量的偏差和方差，并证明了其一致性。交叉验证的方差可以显著减小，但风险是引入大偏差；交叉验证不同变体的偏差和方差因问题而异，选择错误可能导致估计结果不准确。

    Feb, 2013

  • 展示你的工作：实验结果的改进报告

    通过使用验证数据和计算预算等指标，本文提出了一种新的模型比较方法，从而帮助实现更好地汇报实验结果和确保未来准确对比。

    Sep, 2019

  • 随机搜索超参数调整：期望提升估计及其相应的下界

    本文研究神经网络超参数的调参方法及其期望准确度的提升和估计问题，并使用基于随机搜索方法和固定分布进行的超参数采样来检验估计值，发现最优的期望准确度估计仍有 1/k 的误差。

    Aug, 2022

  • 评估软件项目估算中的预测系统

    提出一个新的框架来进行预测系统的评估，并检验了现有的统计指标的有效性，呈现出可靠的实验结论。

    Jan, 2021

  • 展示你的工作并不总是有效的

    本文批判性地研究了题为《Show Your Work: Improved Reporting of Experimental Results》的一篇论文，其中提到的评估指标存在偏差和使用错误假设，我们提出了一种无偏的替代方法，并通过统计模拟获得了实证证据。

    Apr, 2020

  • 模型基准度量方法的忠实模型评估

    统计学意义检验用于自然语言处理（NLP）中，用于确定研究或实验的结果是否可能是由于偶然性还是反映了真实关系。我们在模型基于度量的统计显著性测试中，考虑模型误差对样本方差的影响，并通过公共基准数据集和生产系统的实验，展示了在某些实验中，考虑模型误差计算样本方差对模型基于度量的结果产生了改变。

    Dec, 2023

  • 公平与稳定性：估计方差是朋友还是敌人？

    本文讨论了估计器误差分解中的偏差项、方差项和不可避免噪声项， 研究了社会特权和社会劣势群体的公平性问题，并提出了一种基于组间方差的性能度量方法。同时，研发了一个开源库，将不确定性量化技术与公平性分析融合，并在标准基准测试上对基于方差的公平性度量方法进行了全面的实证分析。

    Feb, 2023

  • 增强上下文学习的更强随机基准

    通过在小数据集上评估语言模型的上下文学习分类性能，我们引入了更强的随机基准：在多个随机分类器中的预期最大准确性。这个更强的随机基准在选择最佳提示演示时，超过标准基准的少量结果有超过 20% 无法超过。当有保留的测试集可用时，这个更强的基准也是保留性能的更好预测，避免不必要的测试集评估。

    Apr, 2024

  • 机器学习基准测试中方差的考虑

    通过模拟对比机器学习算法的整个基准测试过程，我们发现数据采样、参数初始化和超参数选择对结果的影响显著。进一步分析今天所用的主要比较方法，我们提出一种反直觉的结果，即在不增加计算成本的情况下，将更多的变化源添加到不完美的估计器中可以接近更理想的估计器。通过五个不同的深度学习任务和架构，分析改进检测错误率，提出了性能比较的建议。

    Mar, 2021

  • 自然语言生成指标在系统水平的统计优势

    本文分析了自动测量指标和人类判断系统质量估计方面的优劣，指出在人类判断样本数少或对比系统之间质量差异小时自动测量指标能优于人类判断。

    May, 2021