Feb, 2024

在临床试验中监测在线强化学习算法的可信度

PDF
TL;DR在线强化学习算法在临床试验中为参与者个性化治疗提供了巨大潜力，然而，在高风险医疗环境中部署在线自主算法使得质量控制和数据质量尤其困难。本文提出了算法保真度作为临床试验中部署在线强化学习算法的关键要求，并强调算法对于 (1) 保护参与者和 (2) 保留数据进行试后分析的科学效用具有责任。我们还提出了一个用于部署前规划和实时监控的框架，以帮助算法开发者和临床研究人员确保算法保真度。为了说明我们框架的实际应用，我们提供了来自于 Oralytics 临床试验的真实案例。自 2023 年春季以来，该试验成功地部署了一种自主的在线强化学习算法，用于个性化行为干预以防止牙疾的风险参与者。
online reinforcement learningalgorithm fidelityclinical trialsdata qualityreal-time monitoring
发现论文，激发创造
  • 数字干预强化学习算法设计：实施前指南

    该研究介绍了如何使用预测性、可计算性和稳定性（PCS）框架设计在线强化学习算法来个性化数字干预，提供了指南并展示了如何在模拟环境中评估候选算法，以加强现实时间限制和用户动态环境的稳定性，从而在 Oralytics 项目中改善用户的口腔健康，预计 2022 年底进行实地测试。

    Jun, 2022

  • 在线强化学习算法使用重采样评估个性化是否实现

    该论文介绍了一种基于强化学习和在线学习的数据驱动方法，可以实现用户个性化健康治疗序列的优化。通过案例研究，论文使用重新取样方法对算法个性化进行评估，提高了算法的真实性，对于真实应用也具有参考价值。

    Apr, 2023

  • 评估强化学习算法在观测性健康设置中的应用

    探讨评估强化学习算法在医疗保健中的安全性的实质，提供了在评估新型患者治疗方式时，如何设计和评估算法的方法，并描述了如何缓解评估过程中存在的潜在问题。

    May, 2018

  • 离线强化学习与人类反馈的部署

    提出一种基于人类监督的强化学习在线部署框架，包含两种方法：一是通过模型选择和上置信区间算法自适应选择候选离线强化学习模型进行部署，二是在监督信号到达时在线微调模型。通过实证验证，这些方法有效地应用于机器人运动控制和交通信号控制任务中。

    Mar, 2023

  • 用户交互离线强化学习

    本论文提出了一种算法，使用户可以同时解决由于性能不佳或行为不熟悉而导致的问题，通过调整运行时的设定，可以逐步调整最重要的超参数 —— 将学习的策略与原始策略之间的接近程度，并在策略降级或行为过于偏离熟悉行为时随时停止。

    May, 2022

  • 在线强化学习算法口腔自我护理支持中的奖励设计

    本文开发了基于强化学习的算法，用于优化移动提示的发送，以鼓励口腔自我护理行为。研究致力于解决算法中的延迟效应问题，通过设计质量奖励并优化超参数选择，最终被部署在提供行为策略以提高口腔健康的 Oralytics 应用程序上。

    Aug, 2022

  • 评估真实世界机器人上深度强化学习算法的可重复性调查

    本文探讨了强化学习中的无法重现性问题，提出了使用严格规范的评估方法来确保算法之间的公正比较，并强调了选取适当的度量标准和进行合适的统计分析来做出无偏见的结果报告。

    Sep, 2019

  • 鲁棒 离线强化学习 -- 确认置信区间

    开发了一种算法，并使用随机平滑来获得对给定策略的离线鲁棒性认证，证明了其有效性，并在不同环境实验证明了算法的正确性。

    Sep, 2023

  • 离线强化学习用于 1 型糖尿病患者血糖更安全的控制

    本文评估了离线强化学习方法，用于开发临床有效的药量策略，通过对 UVA/Padova 血糖动力学模拟器内的九个虚拟患者的血糖控制进行了研究，发现离线强化学习可以显著提高健康血糖范围内的时间，而不增加低血糖事件。

    Apr, 2022

  • 动态治疗方案中的强化学习需要全面重新审视

    通过对超过 17,000 个评估实验的案例研究，我们批判性地检视了当前离线强化学习在动态治疗方案中的应用现状，并提出了评估指标的不一致性、缺乏基线比较、以及现有研究中选择的强化学习表示形式的多样性等关注点。令人惊讶的是，在一些情况下，随机基线方法和奖励设计方法的策略评估手段可以超过离线强化学习算法的性能。这要求我们在未来的动态治疗方案研究中要更加谨慎地进行策略评估和算法开发，并邀请社区进一步讨论。

    May, 2024