Nov, 2021

分层贝叶斯赌博机

PDF
TL;DR该论文提出了一种基于分层贝叶斯赌博机的自然分层 Thompson 采样算法（HierTS），可有效解决元学习、多任务学习、联邦学习等类似问题，并通过实验展示了分层结构有助于任务间的知识共享。
meta-learningmulti-task learningfederated learninghierarchical bayesian banditsthompson sampling
发现论文，激发创造
  • 基于元数据的贝叶斯分层模型多任务赌博机

    在这篇论文中，我们引入了基于元数据的多任务赌博机问题，提出了一种基于贝叶斯分层模型的任务关系捕捉方法，并设计了一个 Thompson 抽样算法来高效地学习任务关系、共享信息，并最小化累计遗憾。通过对高斯赌博机和伯努利赌博机的分析，我们证明了信息共享的算法的好处。该方法还得到了广泛的实验支持。

    Aug, 2021

  • 多任务赌博机中的稳健转移的汤普森取样

    本研究针对具有相似但不完全相同的多臂赌博机环境中的在线多任务学习问题，研究了如何通过知识的健壮传递从而提高学习器在多个相关任务上的整体性能。我们提出了一种 TS 类型算法，对其进行了经验分析，并证明了它是几乎最优的。最后，我们将算法在合成数据上进行了评估，证明了 TS 类型算法在与基准算法和 UCB 算法的比较中具有卓越的经验性能。

    Jun, 2022

  • 基于 Bandit 反馈的多任务离线学习

    提出针对多个类似问题的层次图模型，用基于带环反馈的上下文离线策略优化解决问题，提出 HierOPO 算法并通过线性高斯模型实现，在模型、理论和实证数据上比单独解决每个任务有优势。

    Dec, 2022

  • 元学习对抗性赌博机

    本文研究了跨多任务的在线学习问题，设计了一个统一的元算法，旨在优化平均性能。该算法在多臂老虎机和乐观线性优化两个重要情境下提供了特定保证，通过任务平均后悔的降低来提高性能。

    May, 2022

  • Bandits 问题中学习先验知识无悔

    提出 AdaTS，一种适用于与其交互的赌博任务的 Thompson 抽样算法，该算法通过在参数上维护分布来适应未知任务先验分布，并在解决赌博任务时对不确定性进行较为准确的处理。AdaTS 是一种全贝叶斯算法，适用于多种赌博问题的高效实现，其 Bayes 遗憾的上界可以量化由于不知道任务先验而产生的损失，实验证明 AdaTS 在挑战性的实际应用问题中表现出色，优于之前的算法。

    Jul, 2021

  • 元学习对抗强盗算法

    该论文研究了具有 bandit feedback 的在线元学习，目的是通过某种自然的相似性度量改善类似的多个任务的性能。

    Jul, 2023

  • 共享仿射子空间中的元学习在赌博机中的应用

    通过在线主成分分析学习低维仿射子空间，从而降低遇到的赌博机的预期遗憾，我们研究了通过充分利用其集中性解决多个情境随机赌博任务的元学习问题。我们提出并理论地分析了两种解决方法：一种是基于在不确定性面前的乐观原则，另一种是通过汤普森抽样。我们的框架是通用的，并包括之前提出的方法作为特殊情况。此外，实证结果表明，我们的方法显著减少了一些赌博任务的遗憾。

    Mar, 2024

  • 简单后悔最小化的元学习

    一个 meta-learning 框架有效的解决了 bandit 任务中的 regret minimization 问题，提出了贝叶斯和频率主义算法，评估了不同的环境。

    Feb, 2022

  • Hierarchical Bayesian 学习者的风险和懊悔

    本文提出了一组用于理解在线和批量学习设置下的分层先验方法的分析工具，包括对数损失下的后悔界和 Bayesian 风险界，重点研究了学生 t 先验和分层高斯先验，以及特征选择的先验，结果表明在实际问题中使用分层先验的学习论益处往往是很小的。

    May, 2015

  • 异质客户的联邦线性情境赌博机

    提出了一种面向异构客户的联邦赌博学习算法，通过对客户进行聚类实现了协同赌博学习，在联邦学习设置下，该算法在所有客户端都能实现非平凡的次线性遗憾和通信成本，只要服务器在任何时候只共享一个模型。

    Feb, 2024