Jan, 2024

提高在线实验效率的比例指标方差减少

PDF
TL;DR在这项工作中，我们成功地将方差缩减技术应用于一个大规模的短视频平台 ShareChat 上的比率指标。我们的实证结果表明，在 77% 的情况下，我们可以提高 A/B 测试的置信水平，或者以 30% 的数据点减少保持相同的置信水平。重要的是，我们表明，在回归中包含尽可能多的协变量的常见方法是适得其反的，强调基于梯度提升决策树预测器的控制变量是最有效的。我们讨论了在大规模实施这些方法的可行性，并展示了它们带来的成本降低。
发现论文，激发创造
  • 学习指标以最大化加速 A/B 测试的功效

    通过从短期信号中学习指标，我们能够提高在线控制实验的统计功效，减少实验成本，同时有效降低 type-II 错误。

    Feb, 2024

  • 基于校准然后计算的深度点击率预测模型中减少方差的度量框架

    通过减少方差提高准确性，我们提出了一种新的指标框架 —— 校准损失指标，以解决深度学习管道评估过程中的度量方差问题，并通过在深度点击率预测模型中的理论论证和大量实验验证支持我们的方法。

    Jan, 2024

  • 在线机器学习实验中的常见误解

    本文讨论了机器学习模型在线实验所面临的问题，指出常用的 A/B-tests 并不能保证无偏估计。因此，文章提出了对从事此领域的从业人员和研究人员的影响及解决方案。

    Apr, 2023

  • 模型基准度量方法的忠实模型评估

    统计学意义检验用于自然语言处理（NLP）中，用于确定研究或实验的结果是否可能是由于偶然性还是反映了真实关系。我们在模型基于度量的统计显著性测试中，考虑模型误差对样本方差的影响，并通过公共基准数据集和生产系统的实验，展示了在某些实验中，考虑模型误差计算样本方差对模型基于度量的结果产生了改变。

    Dec, 2023

  • 推荐系统的离线 A/B 测试

    本文介绍了基于历史数据的线下评估方法，计算新推荐系统版本可能带来的收益提升，提供对实际环境下偏差建模的反事实估计量的变量，通过在线广告个性化产品推荐引起商业指标相关性的商业实验来检验这些估计值。

    Jan, 2018

  • 在线 A/B 测试中未来用户活动的改进预测

    在线随机实验和 A/B 测试中，参与者包含率的准确预测是至关重要的，本文提出了一种新颖、直接且可扩展的贝叶斯非参数方法，用于预测在线 A/B 测试中个体接受干预的比率，并展示了其在实验和模拟数据上相对于现有方法的卓越性能。

    Feb, 2024

  • 测评基准中方差的量化

    通过定义和衡量一系列度量评估基准中的方差，包括初始化中的随机性和训练过程中的单调性，本研究提供了对各种方差度量的实证估计，并为从业者提供了考虑和建议。研究发现，简单的改变策略任务（如 MMLU）为较小规模（约 7B）的模型降低了方差，而受人类测试文献启发的更复杂方法（如项目分析和项目反应理论）在降低方差方面效果不明显。总体而言，本研究通过对评估基准中的方差提供了洞察，提出了降低方差的语言模型特定技术，并鼓励从业者在比较模型时谨慎考虑方差。

    Jun, 2024

  • 机器学习基准测试中方差的考虑

    通过模拟对比机器学习算法的整个基准测试过程，我们发现数据采样、参数初始化和超参数选择对结果的影响显著。进一步分析今天所用的主要比较方法，我们提出一种反直觉的结果，即在不增加计算成本的情况下，将更多的变化源添加到不完美的估计器中可以接近更理想的估计器。通过五个不同的深度学习任务和架构，分析改进检测错误率，提出了性能比较的建议。

    Mar, 2021

  • A/B 测试的复杂性

    该研究提供了一种改进的 A/B 测试性能的分布依赖性下限方法，特别是在高斯分布和伯努利分布下，为固定置信度和固定预算的情况下提供了复杂性的证明和比较，同时还提供了停止规则。

    May, 2014

  • 基于提升度的排名：大规模 A/B 测试的成本效益方法

    开发了一个决策理论框架，通过实验性贝叶斯解决方法，使用贪婪背包算法构建了一个基于贝叶斯规则的正当决策方法，以控制虚警率，具有大规模测试的有效性和优越性。应用实验确认了该方法的有限样本有效性，并讨论了在实际优化实验中的应用。

    Jul, 2024