实时竞价的功能优化强化学习

Jun, 2022

Functional Optimization Reinforcement Learning for Real-Time Bidding

Yining Lu, Changjie Lu, Naina Bandyopadhyay, Manoj Kumar, Gaurav Gupta

TL;DR本文提出了一种多智能体强化学习架构以用于实时竞价广告，使用三个 Lagrange 乘数基于功能优化以及一个基准代理程序进行竞标环境设计。实验结果表明，相比其他代理程序，具有功能优化的代理程序在广告竞标过程中获胜速率和盈余率上有显著提升，表现出优异的表现和盈利性。

Abstract

real-time bidding is the new paradigm of programmatic advertising. An advertiser wants to make the intelligent choice of utilizing a \textbf{dema

real-time bidding demand-side platform multi-agent reinforcement learning functional optimization programmatic advertising

发现论文，激发创造

展示广告中强化学习实时竞价

本文探讨了在实时竞价广告投放中，利用强化学习算法，通过状态空间表示广告拍卖信息和实时参数，在竞价过程中动态分配预算，学习最优的出价策略以最大化广告业绩，并通过神经网络解决了实际应用中的可扩展性问题。

Jan, 2017

基于模型无关强化学习的广告展示的预算约束竞标

本研究提出一种基于强化学习的模型自由框架，将预算限制投标问题转化为马尔可夫决策过程，并采用深度神经网络学习适当的奖励 —— 从而优化决策策略 — 以在大规模真实数据集上执行 RTB 优化

Feb, 2018

基于多智能 Agent 强化学习的实时竞价展示广告

本文讨论了如何利用多智能体强化学习进行实时广告优化，提出了一种聚类算法分配策略代理，并通过行业实验表明，与单一代理和实验算法相比，基于聚类的竞价模型具有更好的效果。

Feb, 2018

深度强化学习在赞助搜索实时竞价中的应用

本文提出了一种基于强化学习的方法解决了在线广告拍卖中的实时竞标问题，特别是在搜索广告拍卖中针对多关键字的竞标策略提出了一个控制模型。

Mar, 2018

展示广告领域的实时竞价策略：实证分析

本文主要探讨了实时竞价广告中的投标策略优化问题及挑战，介绍了几种代表性的投标策略，重点讨论了基于强化学习的投标策略的研究进展和挑战，通过定量评估 iPinYou 数据集上几种代表性的投标策略的性能，总结了使用强化学习算法优化投标策略的一般步骤，并提出了建议。

Nov, 2022

优化生产投标策略的离线强化学习

通过离线强化学习从真实数据中学习，我们提出了一种通用方法来优化生产环境中的竞价策略，这种方法可以用于优化任何可微分的基础策略，并且只需要由基础策略自身生成的数据。我们使用混合代理架构将任意基础策略与深度神经网络结合起来，在训练后仅部署优化的基础策略参数，而神经网络部分被丢弃。我们证明这样的架构在模拟和生产竞价环境中都能取得统计上显著的性能提升。我们的方法不会产生额外的基础设施、安全或可解释性成本，因为它直接优化现有生产流程的参数，而不是用类似神经网络的黑箱模型替换它们。

Oct, 2023

展示广告中带有预算限制的自适应风险感知竞标

本研究提出了一种基于强化学习的新型自适应风险感知竞价算法，旨在同时考虑估计不确定性和 DSP 的动态风险倾向，并通过公共数据集的广泛实验表明，该算法在实际 setting 中优于现有的最佳方法。

Dec, 2022

基于课程引导的贝叶斯强化学习的 ROI 受限出价

该篇论文描述了如何使用部分可观测马尔可夫决策过程方法做到在高度动态的广告市场中，自适应平衡 ROI 约束和目标优化的需求并提出了一种调整策略的贝叶斯强化学习框架。

Jun, 2022

竞标机器：学习竞标直接优化展示广告收益

本论文提出了一个综合的学习出价框架 Bidding Machine，能够联合优化估算广告效用、预测市场价值、制定最佳竞标策略三个挑战，大大提高了广告活动的效益和利润。

Mar, 2018

使用马尔可夫决策过程和机器学习技术改善在线广告实时竞价

本文提出了一种结合深度学习和强化学习技术的实时竞价新方法，用于优化广告投放并提高成效，通过历史数据的比较验证了该方法的有效性和实用性，并对模型参数对算法表现的影响进行了研究。

May, 2023