WWWDec, 2023

个性化推荐的神经上下文强化学习

PDF
TL;DR在线商业领域，推荐系统对增强用户体验至关重要。本篇研究论文探讨了基于上下文的强化学习模型 —— 上下文强化学习框架，作为实现个性化推荐的强大工具。我们深入研究了该领域中的挑战、先进算法与理论、协同策略，以及开放性问题和未来前景。与现有相关教程不同，（1）我们专注于上下文强化学习的探索视角，以减轻推荐系统中的 “马太效应”，即物品的热门度导致富者更富、贫者更贫；（2）除了传统的线性上下文强化学习，我们还将专注于神经上下文强化学习，近年来成为重要的分支，从经验和理论两方面探究神经网络如何增进上下文强化学习的个性化推荐；（3）我们将介绍最新的话题 —— 协同神经上下文强化学习，以结合用户异质性和用户相关性，为推荐系统定制；（4）我们将提供和讨论神经上下文强化学习在个性化推荐中的新兴挑战和未解问题，特别是对于大型神经模型。
recommender systemscontextual banditspersonalized recommendationsneural networkscollaborative strategies
发现论文，激发创造
  • 基于上下文的赌博机算法用于个性化新闻推荐

    本文提出了一种基于上下文的赌博算法来模拟个性化推荐新闻文章，该算法在学习过程中考虑到用户和文章的背景信息，并根据用户对文章的反馈调整文章选择策略以最大化总的用户点击率。实验结果表明，相较于标准的基于上下文的赌博算法，本方法提高了 12.5% 的点击率。

    Feb, 2010

  • 用于上下文强化学习问题的神经网络委员会

    本文提出了一种新的上下文强化学习算法 NeuralBandit，它不需要对上下文和奖励的稳定性提出假设。该算法使用多个神经网络来建模上下文的价值，并提出了两种基于多专家方法的变体来在线选择多层感知器的参数。该算法在大型数据集上进行了测试，包括奖励稳定和不稳定的情况，并取得了成功的效果。

    Sep, 2014

  • 可扩展的神经上下文 Bandit 算法用于推荐系统

    提出一种面向推荐系统的可扩展的高效样本神经上下文强化学习算法，Epistemic Neural Recommendation (ENR)， 具有比基线算法更高的点击率和用户评分，并且具有比最佳基线算法少 29% 的用户交互，同时计算资源需求明显较低。

    Jun, 2023

  • 潜在语境决策与其在新用户个性化推荐中的应用

    本研究提出了潜在上下文强化学习算法来解决个性化推荐中的冷启动问题，能够更快地了解新用户的兴趣并实现更好的后悔上限。

    Apr, 2016

  • 客户支持机器人中的上下文强化学习应用

    本文讨论了使用上下文赌博机（CB）的微软虚拟代理的实现情况，包括基于神经 - 线性赌博机（NLB）的意图消岐和基于一组多臂赌博机（MAB）的上下文推荐。我们的解决方案已经落地生产并通过 A/B 测试证实了业务指标的改进，包括问题解决率相对增加了 12％以上，转移到人工操作员的相对减少了 4％以上。

    Dec, 2021

  • 图神经臂带

    通过图神经网络，本论文提出了一种名为图神经赌博（GNB）的框架，旨在利用用户之间的协作特性来提高在线推荐系统的性能，并通过理论分析和实证研究验证了我们提出的框架的有效性。

    Aug, 2023

  • 元学习下的神经协作过滤赌博机

    通过构建神经协同过滤自适应组 Metaban 算法，本文将人工智能中的探究与利用困境（exploitation-exploration dilemma）应用于定制化推荐，并在实验中将 Metaban 与六种模型进行对比，结果表明 Metaban 显著优于其他模型的表现。

    Jan, 2022

  • 非静态环境下学习上下文臂

    本文介绍了一种上下文赌博算法，它基于奖励估计置信度来检测环境变化并相应地更新其臂选择策略，而严格的上限遗憾分析证明了其在非平凡环境中的学习效果。

    May, 2018

  • 多任务学习用于情境赌博机

    本文提出了一个基于上限置信区间的多任务学习算法框架，用于处理具有高任务相似性的上下文型臂带问题，并揭示了此算法在数据中高任务相似性的优势。

    May, 2017

  • 深度贝叶斯多臂赌博机：在线个性化推荐中的探索

    本文提出了一种使用深度贝叶斯 Bandits 算法的广告推荐系统，其包含探索技术和上下文的特征，以解决推荐系统中的反馈循环问题和算法偏差。

    Aug, 2020