Aug, 2016

推荐系统的部分可观测马尔科夫决策过程

PDF
TL;DR本研究提出了一种名为 POMDP-Rec 的部分可观察马尔可夫决策过程算法，针对在线推荐系统中存在的 “Recurrent Deterioration” 现象，解决了缺乏负面训练数据和用户兴趣演化等问题，通过优化神经网络，利用历史数据，取得了和基于公共数据集进行详尽微调的模型相当的推荐效果。
recurrent deteriorationonline recommender systemsperformance degradationpomdp-rec frameworkneural-optimized partially observable markov decision process algorithm
发现论文，激发创造
  • 基于 MDP 的推荐系统

    本研究通过引入 Markov 决策过程 (MDP) 更为恰当地对推荐系统进行建模，并提出 n-gram 预测模型用于生成初始 MDP 模型以提高预测准确性，该模型在真实数据上进行了评估并应用于基于 MDP 的推荐系统。

    Dec, 2012

  • 部分可观察马尔可夫决策过程中的动态深度强化学习算法

    通过将动作序列纳入来解决部分可观察马尔可夫决策过程，本研究提出了几种结构和方法来扩展最新的深度强化学习算法与 LSTM 网络，结果显示这些算法提升了控制器对不同类型外部干扰的鲁棒性。

    Jul, 2023

  • 一类 POMDP 的在线学习：针对有反应的用户的最佳推荐

    本文提出了一种自动在线推荐系统的模型，其中用户的喜好是时变的并且可以依赖于过去的推荐历史和玩出历史，通过使用基于 Thompson 采样的在线强化学习算法，该模型可以学习优化推荐效果，并具有可证明的性能保证。

    Mar, 2016

  • 利用深度强化学习进行带有负反馈的推荐

    文章提出了一种利用强化学习学习交互过程中优化策略的推荐系统，通过深度学习框架将正反馈同时整合到系统中进行优化，证明了该方法可以提高推荐精度。

    Feb, 2018

  • POPCORN：部分观察预测约束强化学习

    本文提出了一种新的优化目标，以批处理离线策略为特点，即使在某些观测对于规划无关紧要时，该方法也能产生高性能策略和高质量的生成模型，并将其应用于合成样例和一个具有挑战性的医疗决策问题。

    Jan, 2020

  • 基于深度强化学习的 POMDP 推断和鲁棒解决方案：铁路最优维护应用

    本文提出一个结合推断和强化学习的框架，通过深度强化学习对 POMDP 问题进行鲁棒解决。通过 Markov Chain Monte Carlo 抽样来联合推断出所有的转换和观察模型参数，并将参数分布通过域随机化融入到模型不确定性的解决中，解决该方法适用于铁路资产维护规划等实际问题。

    Jul, 2023

  • POMDP 问题的循环自然策略梯度

    研究基于循环神经网络（RNNs）的自然策略梯度方法，用于部分可观测的马尔可夫决策过程，其中 RNNs 用于策略参数化和策略评估，以解决非马尔可夫强化学习中的维度问题。通过有限时间和有限宽度的分析，我们证明了 RNN 在具有短期记忆问题的情况下的效率，并明确了所需网络宽度和样本复杂性的界限，同时指出了长期依赖情况下的挑战。

    May, 2024

  • 递归约束偏观测马尔可夫决策过程

    通过引入新的限制性、历史依赖成本约束的递归约束部分可观察马尔可夫决策问题 (RC-POMDP)，本文解决了常规约束部分可观察马尔可夫决策问题 (C-POMDP) 中存在的问题，并提出了一个基于点的动态规划算法来寻找 RC-POMDP 的最优策略。实验证明，相比于 C-POMDP 的策略，RC-POMDP 的策略具有更好的行为，并展示了算法在一组基准问题上的有效性。

    Oct, 2023

  • AdaRec：适应性顺序推荐以增强用户的长期参与

    AdaRec 是一种适应性的顺序推荐模型，利用基于距离的表示损失从用户的交互轨迹中提取潜在信息，帮助策略识别推荐系统的细微变化，并通过乐观推测的方式进行探索，同时使用零阶动作优化以在复杂环境中保持稳定的推荐质量。在模拟器和实际应用中，AdaRec 在长期性能方面优于所有基准算法。

    Oct, 2023

  • 基于 ODE 的无模型循环强化学习在 POMDP 中的应用

    通过结合神经常微分方程和无模型强化学习，我们提出了一种新颖的基于 ODE 的循环模型用于解决部分可观察的马尔可夫决策过程，通过模型推断从历史过渡中提取不可观测的动态相关信息，并通过多个实验验证了方法的有效性和鲁棒性，尤其在处理不规则采样的时间序列方面。

    Sep, 2023