本文介绍了一些基于在线方法的局部政策计算的 POMDP 方法，并在各种环境下对这些方法进行了评估，结果表明现代的启发式搜索方法能够高效地处理大型 POMDP 领域。

Jan, 2014

通过简化解决方案与理论上最优解之间的确定性关系，解决了在计算上昂贵的部分可观测马尔可夫决策过程（POMDPs）困难，为自主代理在不完全信息环境下的规划提供了确定性界限。

Oct, 2023

本文提出了一种在线学习框架，利用多维度的决策变量、赌博反馈和长期不确定性约束，帮助广告客户在非平稳采购结果的真实赌博反馈环境中动态优化广告平台的杠杆决策，取得低损失结果。

Jul, 2023

本文提出了一种自动在线推荐系统的模型，其中用户的喜好是时变的并且可以依赖于过去的推荐历史和玩出历史，通过使用基于 Thompson 采样的在线强化学习算法，该模型可以学习优化推荐效果，并具有可证明的性能保证。

Mar, 2016

电子商务广告效果主要取决于商家对目标用户进行竞标和赢得展示的能力。本文考虑在用户时间线级别上解决这一问题，通过操纵完整策略而不是竞标值来将策略最优地分配给用户，引入 SuccessProbaMax 算法来优化成功概率，实验证明该算法在成功率方面优于传统预期值最大化算法。

Dec, 2023

部分可观察马尔可夫决策过程 (POMDP) 是在部分可观察性和随机行为下进行决策的有用模型。本文将 POMDP 建模为随机条件规划问题，并提出了两种领域独立的启发式算法，一种基于经典规划中著名的 h_add 启发式算法，另一种在信念空间中计算并考虑信息价值。

Oct, 2023

本文提出了使用因果建模和推理的新型持续时间在线部分可观测树规划器的因果知情扩展，以消除未测量混淆变量所引起的误差。同时，我们提出了一种离线学习因果模型的方法，用于规划。我们在一个具有未观察到混淆因素的玩具问题上评估了我们的方法，并表明所学习的因果模型非常准确，而我们的规划方法比 AR-DESPOT 更加抗干扰，并产生更高性能的策略。

Apr, 2023

本研究考虑广告主在参加重复竞价搜索拍卖时所面临的预算优化问题，将其作为带有被审查观测的马尔可夫决策过程（MDP）来建模，并提出基于 Kaplan-Meier 或产物极限估计器的学习算法。在微软广告中心的大量搜索竞拍数据上，将此算法与几种其他算法进行比较，证明其快速收敛的最佳性能。

Oct, 2012

本文介绍了部分可观测马尔可夫决策过程 (POMDP) 的近似（启发式）方法，研究其性质和关系，并提供一些新见解。该理论结果在代理导航领域的问题上得到了实验支持。

Jun, 2011

本论文提出一种基于 Monte Carlo 采样的在线算法，在解决传播广告分配问题的同时，实现 competing ratio 为 0.702，也证明了当到达速率为整数时 competing ratio 为 0.705。同时，我们还证明采用已知分布模型无法实现 competing ratio 小于 0.823。

Jul, 2010