Feb, 2023

基于核的分布式 Q-Learning：一种针对动态治疗方案的可扩展强化学习方法

PDF
TL;DR本篇论文提出了一种新的分布式 Q-learning 算法，用于生成动态治疗规则 (DTRs)。该算法可有效地处理大量的电子病历数据，并在临床癌症治疗方面表现出比传统算法更好的预测精度和计算成本。
electronic health recordsdynamic treatment regimesreinforcement learningdistributed q-learning algorithmclinical cancer treatments
发现论文，激发创造
  • 动态治疗方案中的强化学习需要全面重新审视

    通过对超过 17,000 个评估实验的案例研究，我们批判性地检视了当前离线强化学习在动态治疗方案中的应用现状，并提出了评估指标的不一致性、缺乏基线比较、以及现有研究中选择的强化学习表示形式的多样性等关注点。令人惊讶的是，在一些情况下，随机基线方法和奖励设计方法的策略评估手段可以超过离线强化学习算法的性能。这要求我们在未来的动态治疗方案研究中要更加谨慎地进行策略评估和算法开发，并邀请社区进一步讨论。

    May, 2024

  • DTR-Bench：基于强化学习的动态治疗方案的用于环境和基准平台

    强化学习在个性化医学中优化动态治疗方案方面有巨大潜力，但在模拟不同医疗场景和对 RL 算法的综合分析方面存在挑战，因此提出了 DTR-Bench，基于 4 个不同的仿真环境，针对常见 DTR 应用进行基准测试。实验结果表明，部分 RL 算法在噪声和患者变异存在时性能下降，且使用时间观察表示并不能一致地提高 DTR 设置中的性能。研究强调了发展强大、适应性强的 RL 算法的必要性，以有效管理这些复杂性以提升个体化医疗。

    May, 2024

  • 连续控制增强学习：分布分布式 DrQ 算法

    Distributed Distributional DrQ 是一个无模型离线 RL 算法，用于连续控制任务，基于代理的状态和观测，是一个带有数据增强和评论家值函数分布性观点的演员 - 评论家方法。通过使用分布分布式 DDPG 作为基础，该算法在各种连续控制任务中取得了出色的性能。

    Apr, 2024

  • 单轨迹鲁棒分布式强化学习

    提出了分布式鲁棒 Q 学习及其平均奖励变体，且在单轨迹训练的基础上，给出了渐近收敛保证和实验验证，证明其在扰动环境下的优越性。

    Jan, 2023

  • 使用策略适应去交织 Actor-Critic 网络以支持动态治疗方案

    通过使用新的去混淆 actor-critic 网络模型，基于电子健康记录的强化学习机制的动态治疗模式可获得更好的患者个体化通气治疗决策，从而提高患者的预后。

    May, 2022

  • 动态治疗方案的惩罚式 Q 学习

    该论文提出一种基于惩罚的 Q 学习框架（PQ-learning）来解决治疗效应参数不规则性的统计推断问题，并提出了相应的个体选择方法来将这一框架应用于动态治疗决策制定中，结果证明其在计算和推论方面均具有优越性。该方法已经应用于抑郁症临床试验研究。

    Aug, 2011

  • 基于循环神经网络的监督增强学习在动态治疗推荐中的应用

    本文提出一种基于监督强化学习和循环神经网络的动态治疗建议系统，用于处理医疗记录中的复杂关系和部分观测问题，实验结果表明该系统能够有效减少患者死亡率和提高医疗建议的准确性。

    Jul, 2018

  • 估计最优动态治疗方案的 $Q$- 和 $A$- 学习方法

    通过使用现有数据，我们详细介绍了临床医生制定动态治疗方案的方法，以及用于估算最优方案的两种主要方法：Q-learning 和 A-learning，并使用抑郁症研究的数据进行了说明。

    Feb, 2012

  • 将患者偏好纳入 Q-Learning 的灵活框架

    在实际医疗问题中，经常存在着多个竞争性的关注点，如治疗效果和副作用严重程度。本研究提出了一种新的方法，称为隐性效用 Q 学习（LUQ-Learning），来解决现有方法在评估复合结果时存在的限制，包括对单一时间点和两个结果的约束、无法纳入患者自述的偏好和有限的理论保证。我们的方法在模拟实验中表现优异，并与多个替代方案相比具有高度竞争的实证表现。

    Jul, 2023

  • 阶段感知学习动态治疗

    针对动态治疗方案中样本不足的问题，我们提出了一种新的个体化学习方法，以优化决策阶段中观测到的治疗轨迹与最佳治疗方案之间的一致性，并引入阶段重要性评分和注意机制来明确考虑决策阶段的异质性。在理论和实证研究中，我们证明了该方法的性质并对其性能进行了评估，包括广泛模拟环境和 COVID-19 疫情的实际案例研究。

    Oct, 2023