Apr, 2021

利用 M - 估计器对自适应收集数据进行统计推断

PDF
TL;DR本论文通过理论分析，提出了一种基于 M - 估计量的方法，利用自适应算法（包括习得算法和最大似然算法）处理 bandit 算法采集的数据，进而构建了一种渐进有效的置信区间方法，可用于许多统计推断目标。
bandit algorithmsstatistical inferencem-estimatorsadaptive algorithmsconfidence intervals
发现论文，激发创造
  • 通过自适应加权利用来自上下文 Bandits 的数据进行离线策略评估

    本文通过自适应加权控制方差，改进了重复鲁棒估计器，并且使用合成数据和公开基准测试提供了经验证据，相较于现有方案，我们的估计器具有更高的精确性和推论属性。

    Jun, 2021

  • 利用差分隐私减轻自适应数据收集中的偏见

    通过不同隐私保护数据收集，可以解决由算法偏见导致的数据收集问题，这不仅限于简单的数值类数据，也包括了复杂数据的假设检验。而且，该方法还能够计算数值类数据（如随机 bandit 算法的经验平均数）的偏差，并校正根据适应性收集的数据进行的假设检验的 p 值。此外，存在具有近优后悔界的差分私有 bandit 算法，我们利用现有的理论在简单随机情况下进行了应用，并为线性背景 bandits 提供了新的分析。我们通过实验证明了理论结果。

    Jun, 2018

  • 批量蒐集资料的推断

    本文发展了一种基于批处理数据的自适应数据收集的带状算法推断方法，证明了普通最小二乘估计器在标准的赌臂算法收集数据时不是渐近正常的，提出了批处理 OLS 估计器，并证明其可以适用于多臂和情境赌臂算法并且对随机变量鲁棒。

    Feb, 2020

  • 自适应赌博分配的蒙特卡罗方法

    本研究提出了一种基于随机多臂老虎机问题的方法，用于在多个 Monte Carlo 估计器之间进行选择以最小化均方误差，并将该方法扩展到估计器成本不同的情况下，提供了一种新的自适应 Monte Carlo 策略，优于以往的方法。

    May, 2014

  • 上下文匹配赌博机环境下的在线决策统计推断

    这篇论文研究在线决策问题，通过采用上下文乐队 it，并建立奖励模型来进行长期奖励最大化。 使用估计模型参数的 OLS 和 WLS 方法来处理该问题，借助中心极限定理证明了参数的渐近正常性。同时，我们还通过实验验证了我们的结论。

    Oct, 2020

  • 上下文推荐系统中的估计问题

    通过整合因果推断文献中的平衡方法，开发了参数和非参数上下文强化学习算法来实现对初始估计偏差问题的更少敏感性，并在域上提供了带有平衡的上下文强化学习的第一个遗憾界分析

    Nov, 2017

  • 一种多臂赌博机的随时有效因果推断的实验设计

    通过 Mixture Adaptive Design (MAD) 实验设计，与用户选择的多臂赌博算法结合 Bernoulli 设计，能够在几乎任何赌博算法中对平均处理效果 (ATE) 进行连续推论，保证统计有效性和功率，提高 MAB 实验中 ATE 推论的覆盖率和功效。

    Nov, 2023

  • 基于 Bandit 反馈的高效反事实学习

    本文考虑利用离线估计器从上下文 bandit 算法生成的日志数据中获取期望奖励最有效的离线评估和优化方式，我们的估计器在广告设计方面得到了应用，证明了我们对标准估计器的方差降低是有效的。

    Sep, 2018

  • 基于上下文的赌博机中最优的自适应离线评估

    本研究旨在研究在没有相应奖励模型的情况下，通过使用由另一政策收集的数据来估算目标政策的价值的，上下文 Bandit 模型下的离线政策评估问题。所提出的 SWITCH estimator 可以使用现有的（不一定一致的）奖励模型来实现更好的偏差 - 方差平衡，从而在多个数据集上实现更好的表现。

    Dec, 2016

  • 非静态环境下学习上下文臂

    本文介绍了一种上下文赌博算法，它基于奖励估计置信度来检测环境变化并相应地更新其臂选择策略，而严格的上限遗憾分析证明了其在非平凡环境中的学习效果。

    May, 2018