Sep, 2023

内容市场中的离策略学习广告负载平衡

PDF
TL;DR在线广告平台中，通过应用离线数据采集的反例权重评估方法和双重保守法，以最大程度提高用户满意度和广告收入为目标，解决了广告负载平衡问题。在超过 8000 万用户和 2 亿次会话的实施规模的在线 A/B 测试中，发现用户满意度指标和广告收入都有显著的提高。
ad-load balancinguser satisfactionads revenueoff-policy learningonline a/b experiments
发现论文，激发创造
  • 反事实学习方法的大规模验证：一个测试平台

    本研究提供并使用实际数据和标准测试平台，基于广告展示探索了历来研究最新的无政策评估和学习方法（如双重优化、POEM 和基于回归基线的监督学习），结果表明最新的无政策学习方法可以改进大规模真实世界数据集上的历史最优监督学习技术。

    Dec, 2016

  • 优化生产投标策略的离线强化学习

    通过离线强化学习从真实数据中学习，我们提出了一种通用方法来优化生产环境中的竞价策略，这种方法可以用于优化任何可微分的基础策略，并且只需要由基础策略自身生成的数据。我们使用混合代理架构将任意基础策略与深度神经网络结合起来，在训练后仅部署优化的基础策略参数，而神经网络部分被丢弃。我们证明这样的架构在模拟和生产竞价环境中都能取得统计上显著的性能提升。我们的方法不会产生额外的基础设施、安全或可解释性成本，因为它直接优化现有生产流程的参数，而不是用类似神经网络的黑箱模型替换它们。

    Oct, 2023

  • 基于模拟策略的非珂环境下评估和学习记录型匪徒反馈反馈数据：通过替代策略减少误差

    本文介绍了一种新的名为 “最大似然反向倾向评分（MLIPS）” 的方法，用于从批量日志二手反馈中学习。与现有方法相比，MLIPS 不仅具有渐近无偏性，而且具有更小的均方根误差，表现出更好的性能。

    Aug, 2018

  • 平衡策略评估与学习

    提出了一种基于平衡的权重方法来评估和学习个性化决策策略，该方法适用于利用历史记录来进行个性化医疗和互联网广告，该方法明显优于现有方法。

    May, 2017

  • 在在线系统中最大化策略分配的成功概率

    电子商务广告效果主要取决于商家对目标用户进行竞标和赢得展示的能力。本文考虑在用户时间线级别上解决这一问题，通过操纵完整策略而不是竞标值来将策略最优地分配给用户，引入 SuccessProbaMax 算法来优化成功概率，实验证明该算法在成功率方面优于传统预期值最大化算法。

    Dec, 2023

  • 稠密网络中移动边缘计算的分散任务卸载和负载均衡

    我们研究了在一个拥有大量设备和一组边缘服务器的稠密网络中的分散任务卸载和负载平衡问题。通过将均值场多智能体多臂赌博（MAB）游戏与一种负载平衡技术相结合，调整服务器的奖励以实现目标人口分布，解决了由于未知网络信息和随机任务大小而导致的复杂优化问题。数值结果证明了我们方法的有效性和对目标负载分布的收敛。

    Jun, 2024

  • 学习排序的悲观离线策略优化

    本文研究基于数据采集的 “离线学习” 在推荐系统中的应用，提出了基于点击模型的悲观离线排序学习方法，经过实验和分析表明其优越性和通用性。

    Jun, 2022

  • 不确定性感知的离线学习

    本研究通过显式建模不确定性，并提出一种不确定性感知的倾向得分估计器（UIPS），可改进离线策略优化，实验结果表明其比现有方法更具有样本效益。

    Mar, 2023

  • 非静态自动竞标世界中的在线广告采购

    本文提出了一种在线学习框架，利用多维度的决策变量、赌博反馈和长期不确定性约束，帮助广告客户在非平稳采购结果的真实赌博反馈环境中动态优化广告平台的杠杆决策，取得低损失结果。

    Jul, 2023

  • 通过高效的逆强化学习实现通信负载平衡

    本文提出了一种采用逆向强化学习方法来解决通信负载平衡问题的方案，并通过从一组演示中推断出奖励函数和学习负载平衡策略的方法，取得了在真实场景中更适用和更具一般性的效果。实验表明所提出的方案优于其他基线方法。

    Mar, 2023