Aug, 2023

公平的不竭多臂赌博机：受数字健康启发的通用框架

PDF
TL;DR基于需求紧迫性的研究发现，从公平性文献中提取的两个公平性目标，最小最大奖励和最大纳什福利，分别通过水充实算法和平衡不同群体大小的贪婪算法进行高效求解，在三个模拟领域中展示了比现有技术更加公平，而对效用几乎没有牺牲的结果。
restless multi-armed banditsequitable objectivesfairness literaturewater filling algorithmgreedy algorithm
发现论文，激发创造
  • 针对不安定多臂赌博机的软公平性探讨

    本文提出了一种 RMAB 的方法，称为 SoftFair，旨在强制实现软公平约束条件，该约束条件要求算法在选择 RMAB 中的每个项时都不能倾向于一个项，目的是避免在执行干预时出现某些区域或社区被忽略的情况。

    Jul, 2022

  • 有限时间和流式无休止多臂赌博机问题的高效算法

    提出了 “Streaming Bandits” 框架，该框架为不安宁的多臂赌博机问题，其中异构臂可以在有限寿命后进入和离开系统。该框架自然地解决了卫生干预计划问题，同时提供了一个新颖而高效的算法来计算 Whittle 索引解。

    Mar, 2021

  • 具有长期公平约束的在线不安定多臂赌博机

    我们介绍了一种名为 RMAB-F 的新的多臂老虎机模型，它具有长期公平约束；并开发了一种名为 Fair-UCRL 的强化学习算法，证明了其能够在奖励遗憾和公平违反遗憾方面保持概率亚线性边界。

    Dec, 2023

  • 决策导向的评估：分析已部署的不安定多臂赌博机的性能

    研究 RMAB 系统在公共卫生领域的部署，发现整体预测准确性的提高可能会伴随着 RMAB 系统性能的降低；使用决策评估度量来评估预测组件，更好地解释了 RMAB 系统的整体性能表现。

    Jan, 2023

  • 在线多臂赌博机的曝光公平性

    通过建立公平的多臂赌博机框架，考虑离线和在线情形中的不公平问题，本论文证明了算法在单次选取情况下的次线性公平后悔度，并在实证中展示了在多次选取场景中算法的良好表现。

    Feb, 2024

  • 多臂赌博机中的全局奖励

    提出了一种新的方法来解决具有全局不可分离奖励的不安定多臂赌博机问题，并且通过引入线性和 Shapley-Whittle 指标以及自适应策略来改进现有方法。实验证明，该方法在合成数据和现实世界数据中表现优于基线模型和基于指标的方法。

    Jun, 2024

  • 无眠多臂赌博中的零样本学习

    提出了一种基于神经网络的预训练模型（PreFeRMAB），具备广泛的零样本能力，能够更加高效地在特定实例上进行微调，同时适用于离散或连续状态空间的多动作问题，解决了以往研究中在处理连续状态时需要重新训练等限制，拥有理论收敛保证和在多个具有挑战性、以真实世界为灵感的问题上的实证优势。

    Oct, 2023

  • 多臂赌博机中的可扩展决策焦点学习及其在母婴健康中的应用

    本文提出了一种新颖的用于决策焦点学习的方法，该方法直接训练预测模型以最大化 Whittle 指数解的质量，应用于不确定武装转移动态但已知相关武装特征的不安静多臂老虎机（RMAB）问题，并提高了在 RMAB 问题中的可扩展性，并将算法应用于先前收集的母婴健康数据集，展示了其性能。

    Feb, 2022

  • 部署不安静多臂赌博机的现场研究：帮助非营利组织改善母婴健康

    本文介绍了一种利用 Restless Multi-Armed Bandits (RMABs) 系统辅助非营利组织提供预防保健信息的方法，其中 RMABs 群组最终降低了约 30％的参与度下降。

    Sep, 2021

  • 探索与开发与安全：风险厌恶的多臂老虎机

    本文介绍了多臂风险感知算法（MARAB），用于能源管理，旨在通过限制高风险风险臂的探索来提高效率。通过使用条件风险价值作为臂质量，当用户提供的风险水平趋近于零时，MARAB 倾向于最小化多臂赌博机算法（MIN），以最大化最小值。实验表明，与其他算法相比，MARAB 和 MIN 算法更加稳健，可用于人工和现实世界的问题。

    Jan, 2014