AdaptEx：一个自助式上下文强化学习平台

Aug, 2023

AdaptEx：一个自助式上下文强化学习平台

AdaptEx: A Self-Service Contextual Bandit Platform

William Black, Ercument Ilhan, Andrea Marchini, Vilda Markeviciute

TL;DRAdaptEx 是一个自助上下文强化学习平台，利用多臂赌博算法在 Expedia Group 广泛使用，以大规模个性化用户体验。AdaptEx 根据每位访问者的独特上下文选择最优变体，并迅速学习每一次互动，提供了一种强大的解决方案，以改善用户体验并最小化传统测试方法所涉及的成本和时间消耗。该平台具备快速迭代优化产品解决方案的能力，即使在内容不断变化和持续的 “冷启动” 情况下也能优雅地应对。

Abstract

This paper presents adaptex, a self-service contextual bandit platform widely used at Expedia Group, that leverages multi-armed bandit alg

adaptex contextual bandit personalization user experiences multi-armed bandit

发现论文，激发创造

个性化推荐的神经上下文强化学习

在线商业领域，推荐系统对增强用户体验至关重要。本篇研究论文探讨了基于上下文的强化学习模型 —— 上下文强化学习框架，作为实现个性化推荐的强大工具。我们深入研究了该领域中的挑战、先进算法与理论、协同策略，以及开放性问题和未来前景。与现有相关教程不同，（1）我们专注于上下文强化学习的探索视角，以减轻推荐系统中的 “马太效应”，即物品的热门度导致富者更富、贫者更贫；（2）除了传统的线性上下文强化学习，我们还将专注于神经上下文强化学习，近年来成为重要的分支，从经验和理论两方面探究神经网络如何增进上下文强化学习的个性化推荐；（3）我们将介绍最新的话题 —— 协同神经上下文强化学习，以结合用户异质性和用户相关性，为推荐系统定制；（4）我们将提供和讨论神经上下文强化学习在个性化推荐中的新兴挑战和未解问题，特别是对于大型神经模型。

Dec, 2023

基于上下文的赌博机算法用于个性化新闻推荐

本文提出了一种基于上下文的赌博算法来模拟个性化推荐新闻文章，该算法在学习过程中考虑到用户和文章的背景信息，并根据用户对文章的反馈调整文章选择策略以最大化总的用户点击率。实验结果表明，相较于标准的基于上下文的赌博算法，本方法提高了 12.5% 的点击率。

Feb, 2010

学习解释的赌博机

介绍了 Explearn，一种联合输出预测和解释预测的在线算法，它利用了基于 Gaussian Processes 的 contextual bandits。

Feb, 2021

线性上下文臂优化中的自适应探索

我们设计了一种渐近上限最优算法，并充分利用线性结构和精确探索，从而减少了在多种合理情境下的失算，数值结果表明，与其他基准算法相比，我们的方法大大减少了失算。

Oct, 2019

客户支持机器人中的上下文强化学习应用

本文讨论了使用上下文赌博机（CB）的微软虚拟代理的实现情况，包括基于神经 - 线性赌博机（NLB）的意图消岐和基于一组多臂赌博机（MAB）的上下文推荐。我们的解决方案已经落地生产并通过 A/B 测试证实了业务指标的改进，包括问题解决率相对增加了 12％以上，转移到人工操作员的相对减少了 4％以上。