Dec, 2023

HiBid: 一个跨渠道约束竞价系统及预算分配的层次式离线深度强化学习

PDF
TL;DR该研究提出了一种名为 HiBid 的层次离线深度强化学习框架，用于在线展示广告平台的交叉渠道受限出价及预算分配问题，并通过大规模日志数据和在线 A/B 测试验证了其在点击次数、CPC 满意度比率和投资回报率方面优于其他六种基准模型，并应用于美团广告平台服务数以万计的广告商。
online display advertisingreal-time biddingcross-channel biddingdeep reinforcement learningbudget allocation
发现论文，激发创造
  • 基于模型无关强化学习的广告展示的预算约束竞标

    本研究提出一种基于强化学习的模型自由框架，将预算限制投标问题转化为马尔可夫决策过程，并采用深度神经网络学习适当的奖励 —— 从而优化决策策略 — 以在大规模真实数据集上执行 RTB 优化

    Feb, 2018

  • 基于多智能 Agent 强化学习的实时竞价展示广告

    本文讨论了如何利用多智能体强化学习进行实时广告优化，提出了一种聚类算法分配策略代理，并通过行业实验表明，与单一代理和实验算法相比，基于聚类的竞价模型具有更好的效果。

    Feb, 2018

  • 基于课程引导的贝叶斯强化学习的 ROI 受限出价

    该篇论文描述了如何使用部分可观测马尔可夫决策过程方法做到在高度动态的广告市场中，自适应平衡 ROI 约束和目标优化的需求并提出了一种调整策略的贝叶斯强化学习框架。

    Jun, 2022

  • 展示广告中强化学习实时竞价

    本文探讨了在实时竞价广告投放中，利用强化学习算法，通过状态空间表示广告拍卖信息和实时参数，在竞价过程中动态分配预算，学习最优的出价策略以最大化广告业绩，并通过神经网络解决了实际应用中的可扩展性问题。

    Jan, 2017

  • 展示广告中带有预算限制的自适应风险感知竞标

    本研究提出了一种基于强化学习的新型自适应风险感知竞价算法，旨在同时考虑估计不确定性和 DSP 的动态风险倾向，并通过公共数据集的广泛实验表明，该算法在实际 setting 中优于现有的最佳方法。

    Dec, 2022

  • 多平台广告市场中使用非 IC 拍卖的预算管理

    本文提出了一种针对在线广告买卖市场的方法，以最大化广告主的总实用效益且满足预算限制，解决预算限制下不确定的、可能存在证明问题的一组拍卖中的投标最优策略问题，并对在线出价的情况进行了调查，算法在完全信息情况下的拍卖后悔为 $O (T^{3/4})$。我们证明了此方法优于现有的适应性 pacing 算法的合成和真实数据集上的累计后悔。

    Jun, 2023

  • 竞标机器：学习竞标直接优化展示广告收益

    本论文提出了一个综合的学习出价框架 Bidding Machine，能够联合优化估算广告效用、预测市场价值、制定最佳竞标策略三个挑战，大大提高了广告活动的效益和利润。

    Mar, 2018

  • 深度强化学习在赞助搜索实时竞价中的应用

    本文提出了一种基于强化学习的方法解决了在线广告拍卖中的实时竞标问题，特别是在搜索广告拍卖中针对多关键字的竞标策略提出了一个控制模型。

    Mar, 2018

  • 展示广告领域的实时竞价策略：实证分析

    本文主要探讨了实时竞价广告中的投标策略优化问题及挑战，介绍了几种代表性的投标策略，重点讨论了基于强化学习的投标策略的研究进展和挑战，通过定量评估 iPinYou 数据集上几种代表性的投标策略的性能，总结了使用强化学习算法优化投标策略的一般步骤，并提出了建议。

    Nov, 2022

  • 在线广告中基于实时出价和平滑预算分配的优化

    本研究提出了一种在线方法，通过在时间范围内最优化地分配预算，并基于事前性能分布来选择高质量的广告展示和调整竞价，以实现顺畅的预算交付并优化转化表现。

    May, 2013