Dec, 2023

一种层次最近邻方法用于背景环境下的 Bandits

PDF
TL;DR在这篇论文中，我们考虑了度量空间中的对抗性背景下的上下文强化学习问题。虽然论文《带有强化学习反馈的最近邻》解决了该问题，但当比较器策略的决策边界附近存在许多上下文时，会出现高度的后悔。本文中，我们通过设计一种算法来解决这个问题，可以在计算后悔项时排除任何一组上下文。我们的算法基于《带有强化学习反馈的最近邻》的算法，因此具有极高的计算效率。
发现论文，激发创造
  • 带匪反馈的最近邻算法

    本文中我们将最近邻居规则应用于情境强盗问题，并与适当快速的自适应最近邻搜索数据结构结合，如导航网等，我们的算法在完全对抗环境中处理数据生成过程中不作出任何假设，具有多项式对数级别的每一次执行时间，在试验和行动的数量上具有快速执行的优势，并仅占有几乎线性的空间。

    Jun, 2023

  • 用于上下文强化学习问题的神经网络委员会

    本文提出了一种新的上下文强化学习算法 NeuralBandit，它不需要对上下文和奖励的稳定性提出假设。该算法使用多个神经网络来建模上下文的价值，并提出了两种基于多专家方法的变体来在线选择多层感知器的参数。该算法在大型数据集上进行了测试，包括奖励稳定和不稳定的情况，并取得了成功的效果。

    Sep, 2014

  • 个性化推荐的神经上下文强化学习

    在线商业领域，推荐系统对增强用户体验至关重要。本篇研究论文探讨了基于上下文的强化学习模型 —— 上下文强化学习框架，作为实现个性化推荐的强大工具。我们深入研究了该领域中的挑战、先进算法与理论、协同策略，以及开放性问题和未来前景。与现有相关教程不同，（1）我们专注于上下文强化学习的探索视角，以减轻推荐系统中的 “马太效应”，即物品的热门度导致富者更富、贫者更贫；（2）除了传统的线性上下文强化学习，我们还将专注于神经上下文强化学习，近年来成为重要的分支，从经验和理论两方面探究神经网络如何增进上下文强化学习的个性化推荐；（3）我们将介绍最新的话题 —— 协同神经上下文强化学习，以结合用户异质性和用户相关性，为推荐系统定制；（4）我们将提供和讨论神经上下文强化学习在个性化推荐中的新兴挑战和未解问题，特别是对于大型神经模型。

    Dec, 2023

  • 非静态环境下学习上下文臂

    本文介绍了一种上下文赌博算法，它基于奖励估计置信度来检测环境变化并相应地更新其臂选择策略，而严格的上限遗憾分析证明了其在非平凡环境中的学习效果。

    May, 2018

  • 非参数随机情境臂机

    探讨 K-armed bandit 问题下的 noisy reward，提出了一种简单实用的算法（kNN-UCB），并得到了紧密的 top-arm identification 和 sublinear regret 边界，并讨论了该算法的全局 intrisinic dimension 和 ambient dimension 的 regret 边界，同时介绍了对于无限武装情境下 bandit 算法的扩展和实验证明了算法在多种任务上的优越性。

    Jan, 2018

  • 上下文赌博大比拼

    本文是对背景上下文算法的一个全面的研究和综述，重点关注依靠监督学习的优化原则的实用方法，并利用大量的监督学习数据集进行了实证评估。研究发现，最近使用不确定性乐观主义的方法在整体上效果最好，其次是通过上下文多样性暗示进行探索的简单贪心基线。

    Feb, 2018

  • 上下文多臂赌博机调查

    该研究综述了几种随机和对抗性的上下文 Bandit 算法，分析了每个算法的假设和遗憾界。

    Aug, 2015

  • 无悔的神经上下文赌博机

    提出了基于神经网络的算法 (NN-UCB) 来解决序列决策中的上下文强化学习问题，证明了该算法的后悔值可以和使用 NTK-UCB 算法等价。

    Jul, 2021

  • 多任务学习用于情境赌博机

    本文提出了一个基于上限置信区间的多任务学习算法框架，用于处理具有高任务相似性的上下文型臂带问题，并揭示了此算法在数据中高任务相似性的优势。

    May, 2017

  • 关于上下文相关赌博机聚类的研究

    CAB 算法是一种协同推荐算法，它采用了上下文相关的用户邻域估计机制，能够同时进行探索利用平衡和协同步骤，证明了具有不同数据假设的后悔边界，并在生产和真实数据集上验证了 CAB 的显着预测性能优势。

    Aug, 2016