Mar, 2018

电子商务搜索引擎中的强化学习排序：形式化、分析和应用

PDF
TL;DR本论文提出使用强化学习等算法解决电子商务平台中的多步排名问题，并通过模拟和淘宝搜索引擎实验，与在线学习到排名方法相比，获得了高于 40％和 30％的总交易金额增长。
reinforcement learningmulti-step rankingpolicy gradient algorithmsearch session markov decision processe-commerce
发现论文，激发创造
  • 面向使用人类反馈进行离线策略排序的强化学习

    本文提出了一种新的离线值排名 (VR) 算法，可以在统一的期望最大化 (EM) 框架中同时最大化用户的长期回报和优化排名度量，以提高样本效率。理论和实证研究表明，EM 过程指导了学习策略，从而在没有任何在线交互的情况下享受未来回报和排名度量的优势。广泛的离线和在线实验证明了我们方法的有效性。

    Jan, 2024

  • 修正学习方法，而非数据：电子商务产品排名的见解

    文章提出采用反事实风险最小化法（CRM）来实现从真实世界的日志数据中学习排名模型，以避免需要有关性的判断和数据聚合，此方法更适合从 Logged 数据中学习，CRM 方法有效地从 Logged 数据中学习，效果显著优于基线排名器（λ-MART），并且优于各种深度神经网络模型的全信息损失（例如交叉熵）的表现。

    Jul, 2019

  • 基于强化学习的统一离线学习排序

    在这篇论文中，我们利用强化学习中的离线学习技术，提出了一种与点击模型无关的通用排序方法 Click Model-Agnostic Unified Off-policy Learning to Rank（CUOLR），通过将排序过程视为一个马尔可夫决策过程，实现了对各种类型的点击模型的自适应，实验结果表明，CUOLR 在不同的大规模数据集上均优于现有的基于离线学习的排序算法，并能在不同的点击模型下保持一致性和鲁棒性

    Jun, 2023

  • 基于深度强化学习的列表推荐

    本文提出一种通过模型驱动的增强学习方法来不断优化推荐策略的推荐系统，将用户与推荐系统之间的交互建模为马尔可夫决策过程，并通过在线用户 - 代理交互环境模拟器来预训练和评估模型参数，进一步提出了一种将列表式推荐纳入推荐系统的实验方法，并在真实世界的电子商务数据集上验证了该方法的有效性。

    Dec, 2017

  • 基于模型的多智能体个性化短视频推荐系统

    本文提出了一种基于强化学习框架的工业级短视频推荐排序系统，通过协作多智能体建模和最大化用户观看时间来解决用户多方面偏好的环境下，推荐会话的马尔可夫决策过程。此外，我们的框架采用基于模型的学习方法来缓解工业推荐系统中关键但难以解决的样本选择偏差问题。大量的离线评估和实时实验验证了我们所提出方法的有效性。我们的方法已成功部署在我们的实际大规模短视频分享平台上，为数亿用户提供服务。

    May, 2024

  • 排名公平性的政策学习

    本文提出了一种利用随机排序策略来进行公平学习及考虑排序项影响的通用 LTR 框架，并通过基于政策梯度方法的 Fair-PG-Rank 算法进行优化，可在保持曝光公平性的情况下优化各种效用指标。通过实验结果验证了此方法在个人和集体公平性方面的有效性。

    Feb, 2019

  • 强化学习增强的对比模型用于顺序推荐

    通过提出一种名为模型增强对比强化学习（MCRL）的新型强化学习推荐器，我们解决了离线数据集的稀疏性以及负反馈无法获取的问题，并通过对比学习来优化奖励函数和状态转移函数，实验结果表明该方法在两个现实世界数据集上显著优于现有的离线强化学习和自监督强化学习方法。

    Oct, 2023

  • 深度强化学习在赞助搜索实时竞价中的应用

    本文提出了一种基于强化学习的方法解决了在线广告拍卖中的实时竞标问题，特别是在搜索广告拍卖中针对多关键字的竞标策略提出了一个控制模型。

    Mar, 2018

  • 电子商务系统中基于强化利润最大化的价值感知推荐

    通过融合在线广告和微观经济基本概念到个性化推荐领域，我们提出了基于强化学习的价值感知推荐算法，该算法通过直接优化候选项的经济价值生成推荐列表，映射每种用户操作的货币化经济价值并以此作为排序列表的激励值，在线商业系统与离线基准测试中得到验证，证明了我们框架性能的提高，无论是传统的 top-$k$ 排名任务还是系统的经济利润。

    Feb, 2019

  • 强化学习推荐系统综述

    本文对基于强化学习的推荐系统进行了综述，提出了一个 RLRS 框架，包括状态表示，策略优化，奖励制定和环境构建，并针对 RLRS 算法进行了调查，强调出现的主题并展示了各种图表。

    Jan, 2021