选择过去实验中的代理指标

Sep, 2023

Choosing a Proxy Metric from Past Experiments

Nilesh Tripuraneni, Lee Richardson, Alexander D'Amour, Jacopo Soriano, Steve Yadlowsky

TL;DR在大量随机实验中，通过生成决策指南，我们引入了一种新的统计框架来定义并构建适用于同质人群的最佳代理度量标准，该度量标准能够与长期度量密切跟踪，并在噪声较高的情况下进行优化问题的解决。通过运用这种方法，我们在一个工业推荐系统的大量随机实验中应用我们的方法进行实例化和评估，并构建了相对于几个基准值表现优异的代理度量标准。

Abstract

In many randomized experiments, the treatment effect of the long-term metric (i.e. the primary outcome of interest) is often difficult or infeasible to measure. Such long-term metrics are often slow to react to c

randomized experiments long-term metric proxy metrics optimization problem recommendation system

发现论文，激发创造

帕累托最优代理指标

论文提出 Pareto 最优代理指标方法，该方法同时优化了预测精度和灵敏度，并给出了一种有效的多目标优化算法用于实验评估和决策，大幅提高了工业推荐系统启动新功能的决策速度和质量。

Jul, 2023

以长期成果为目标

利用双重稳健方法对渐进流失管理策略进行长期结果的预测和优化，使用缺失的长期结果推断优化政策，使用先前实验获取数据评估该方法的有效性，并使用第二个实验执行有效的目标政策，取得了 4-5 百万美元的总净正收益。

Oct, 2020

异质因果效应估计模型选择的实证分析

研究因果推断中的模型选择问题，特别是针对二元处理条件下的条件平均处理效应（CATE）估计问题。作者设计了一种不依赖反事实数据的模型选择技术，并通过广泛实证分析验证了各种代理度量标准在真实数据集上的性能表现。

Nov, 2022

长期离线策略评估与学习

使用只有历史和短期实验数据的可行方法准确估计算法的长期结果

Apr, 2024

学习指标以最大化加速 A/B 测试的功效

通过从短期信号中学习指标，我们能够提高在线控制实验的统计功效，减少实验成本，同时有效降低 type-II 错误。

Feb, 2024

使用小型代理数据集加速超参数搜索

论文介绍了一种通过生成小型的代理数据集来加速机器学习模型训练的方法，并将其与基于完整数据集训练的基准模型进行了对比，实验证明该方法能够提高模型训练效率并得到高质量的实验结果。

Jun, 2019

深度度量学习的代理锚定损失

该研究提出了一种新的代理损失方法，它结合了基于对和代理的方法的优点并克服了它们的局限性，同时具有更快的收敛速度和对嘈杂标签和离群值的鲁棒性，能充分利用数据之间的关系，其中该方法在四个公共基准测试中表现出最先进的性能和最快的收敛速度。

Mar, 2020

深度度量学习的鲁棒性标定代理损失

本文提出了一种 Calibrate Proxy (CP) 结构，它使用真实样本信息提高了代理损失中的相似度计算，并引入校准损失来约束代理优化向类特征中心。通过多个实验验证了我们方法在三个公共数据集和多个合成噪音标签数据集上的有效性，表明我们的方法可以有效地改善常用代理损失在正常和噪声数据集上的表现。

Apr, 2023

半参数估计长期治疗效果

本文介绍了一种半参数方法，它可以将短期和长期结果的试验与观察性测量组合起来以估计长期治疗效果，并分析了一个扶贫计划的长期影响的数据进行了仿真测试。

Jul, 2021

有限结果数据中代理的角色在治疗效果有效估计中的作用

本文研究了在难以收集数据的情况下，通过使用代理观测值对治疗效果进行高效估计，构建了基于机器学习技术的估计方法，并通过职业培训的长期收益效果的实证研究表明了其效果

Mar, 2020