Oct, 2023

解决 A/B 测试中数据训练循环引起的干扰问题：加权训练方法

PDF
TL;DR我们引入了一种称为加权训练的新方法，通过训练模型预测数据点出现在处理组或对照组的概率，并在模型训练过程中应用加权损失函数，从而解决了现代推荐系统中历史数据训练循环在 A/B 测试中引入的干扰问题，通过模拟研究显示了我们方法的较低偏差和方差。
recommendation systemsmachine learning modelsa/b testsweighted trainingsimulation studies
发现论文，激发创造
  • 一种两部分的机器学习方法用于表征 A/B 测试中的网络干扰

    提出了一种基于机器学习的方法来识别和表征异质网络干扰，该方法通过引入因果网络模式和透明机器学习模型来建立反映潜在网络干扰模式的最适 exposure mapping，为管理网络干扰和提高 A/B 测试精确性提供了全面的自动化解决方案。

    Aug, 2023

  • 在网络下异质干扰下学习个体化治疗效果

    本论文提出了一种新算法 ——Dual Weighting Regression (DWR)，其通过学习注意力权重和样本权重来解决网络场景下的干扰异质性问题，同时实验表明该算法优于目前的其他算法。

    Oct, 2022

  • 基于结构化神经网络的推荐器干扰下的治疗效果估计

    推荐系统对于内容分享平台的个性化内容整理至关重要。 通过进行创作者方面的随机实验以估计治疗效应，定义为当新的（而不是现状）算法在平台上部署时，平台经常评估面向内容创作者的推荐系统更新。我们展示了标准差异估计量可能导致偏倚的治疗效应估计。这种偏倚的产生是因为推荐干扰，即在推荐系统中，受治疗群体和对照群体的创作者竞争曝光机会。我们提出了一种 “推荐选择模型”，该模型捕捉到在包含受治疗和对照内容项的池中如何选择项目。通过结合结构性选择模型和神经网络，该框架以微观基础的方式直接建模推荐干扰路径，并考虑丰富的观众 - 内容异质性。使用该模型，我们构建了一种一致且渐近正态的治疗效应的双重 / 无偏估计量。我们通过对微信短视频平台进行的一项实地实验展示了其实证表现：除了标准的创作者方面实验外，我们还进行了昂贵的阻塞性双边随机化设计以获得没有干扰偏倚的基准估计。我们展示了相对于标准差异估计量，所提出的估计量显著减少了治疗效应估计中的偏倚。

    Jun, 2024

  • 使用工具进行异质性处理效果的机器学习估计

    本研究使用有效的工具变量来考虑具有任意机器学习方法的异质性处理效应估计，并减少了问题到最小化一个适当的损失函数（依赖于一组辅助模型，每个模型对应一个独立的预测任务）的规模。

    May, 2019

  • 推荐作为治疗方案：去偏见化学习和评估

    该研究提供了一种使用因果推论来处理选择偏差的方法，可实现对推荐系统的评估和训练，并获得实际数据上显着改善的预测效果。

    Feb, 2016

  • 网络实验设计中的干扰和选择偏差最小化

    提出了一种在网络中设计 A/B 测试的方法，通过最小化干扰和选择偏差，利用边传播概率和集群匹配等考虑因素，重新设计了基于集群随机化的方法，结果表明该方法能够显著降低因干扰而导致的因果效应估计误差。

    Apr, 2020

  • 在线机器学习实验中的常见误解

    本文讨论了机器学习模型在线实验所面临的问题，指出常用的 A/B-tests 并不能保证无偏估计。因此，文章提出了对从事此领域的从业人员和研究人员的影响及解决方案。

    Apr, 2023

  • 在去偏推荐中利用少量无偏评级平衡未观察到的混杂因素

    本文提出了一种理论上保证的模型无关均衡方法，该方法可以针对现有的去偏差方法进行应用，以抵抗未观测到的混淆和模型错误，并通过交替校正学习偏差数据的模型参数，以自适应学习平衡系数，充分利用无偏数据。在实际应用中，该方法证明了其有效性。

    Apr, 2023

  • 权重学习：一种针对广告检索的代价敏感方法

    本文研究基于点击数据的检索模型，探讨在训练集中引入或忽略长尾查询 - 文档对的影响，提出了一种基于加权的策略用于学习长尾语义表示，并在必应赞助搜索和亚马逊产品推荐上进行实验。在线 A/B 测试结果显示，相比于不加权模型，点击率提高了 11.8％，反弹率降低了 8.2％，同时在亚马逊产品推荐数据上也略有提高。

    Nov, 2018

  • 样本重加权的稳健学习

    本文研究如何在模型错配偏差情况下学习线性预测模型。我们提出了一种样本重新加权方法，该方法可以减少输入变量之间的共线性，从而提高设计矩阵的条件，并与任何标准学习方法相结合，用于参数估计和特征选择，进而提高模型在不同分布数据集下的稳定性。

    Nov, 2019