本文讨论了如何利用多智能体强化学习进行实时广告优化，提出了一种聚类算法分配策略代理，并通过行业实验表明，与单一代理和实验算法相比，基于聚类的竞价模型具有更好的效果。

Feb, 2018

本文针对在线广告中的自动竞价进行了研究，提出了一种拥有加速法的拍卖家族，以改善竞价市场中的福利和收入。实证研究结果表明，适当选择加速法的权重可以改善市场福利和收入。

Mar, 2021

通过离线强化学习从真实数据中学习，我们提出了一种通用方法来优化生产环境中的竞价策略，这种方法可以用于优化任何可微分的基础策略，并且只需要由基础策略自身生成的数据。我们使用混合代理架构将任意基础策略与深度神经网络结合起来，在训练后仅部署优化的基础策略参数，而神经网络部分被丢弃。我们证明这样的架构在模拟和生产竞价环境中都能取得统计上显著的性能提升。我们的方法不会产生额外的基础设施、安全或可解释性成本，因为它直接优化现有生产流程的参数，而不是用类似神经网络的黑箱模型替换它们。

Oct, 2023

本文中，我们提出了一种可持续的在线强化学习（SORL）框架，该框架通过与实际广告系统（RAS）直接交互来训练自动出价策略，从而避免了问题在离线虚拟广告系统（VAS）中进行 RL 训练过程。这一方法包括安全高效的在线探索（SER）策略、方差抑制保守 Q 学习（V-CQL）方法等，能够有效地学习自动出价策略并提高自动出价算法的表现。

Oct, 2022

在线广告中，通过使用增强学习的自动竞价算法，部署多个自动竞价代理进行数据收集与训练，提出了一种迭代的离线增强学习框架，通过轨迹的探索和利用方法进行数据采集与利用，以解决传统离线增强学习算法的有效探索和开发性能瓶颈，并结合安全探索和适应性行动选择来确保在线探索的安全性和数据集质量，通过阿里巴巴展示广告平台的实际和离线实验，验证了所提出方法的有效性。

Feb, 2024

本文提出了一种在线学习框架，利用多维度的决策变量、赌博反馈和长期不确定性约束，帮助广告客户在非平稳采购结果的真实赌博反馈环境中动态优化广告平台的杠杆决策，取得低损失结果。

Jul, 2023

本文研究了协同在线竞标算法在具有预算限制的重复次数第二价格拍卖中的效率，提出保证每个客户比独立竞标获得更高效用价值的算法，并以在线学习和均衡分析为技术支持，实现与多维基准的竞争。

Jun, 2023

本研究利用 MESOB-OMO 方法解决了广告拍卖中竞争与合作的双重目标问题，实现了拍卖双方利益的平衡，并且相较于其它算法具有优势。

Jul, 2023

本文探讨了在实时竞价广告投放中，利用强化学习算法，通过状态空间表示广告拍卖信息和实时参数，在竞价过程中动态分配预算，学习最优的出价策略以最大化广告业绩，并通过神经网络解决了实际应用中的可扩展性问题。

Jan, 2017

本文提出了一种多智能体强化学习架构以用于实时竞价广告，使用三个 Lagrange 乘数基于功能优化以及一个基准代理程序进行竞标环境设计。实验结果表明，相比其他代理程序，具有功能优化的代理程序在广告竞标过程中获胜速率和盈余率上有显著提升，表现出优异的表现和盈利性。

Jun, 2022