本篇论文提出了一种新的分布式 Q-learning 算法，用于生成动态治疗规则 (DTRs)。该算法可有效地处理大量的电子病历数据，并在临床癌症治疗方面表现出比传统算法更好的预测精度和计算成本。

Feb, 2023

该论文提出一种基于惩罚的 Q 学习框架（PQ-learning）来解决治疗效应参数不规则性的统计推断问题，并提出了相应的个体选择方法来将这一框架应用于动态治疗决策制定中，结果证明其在计算和推论方面均具有优越性。该方法已经应用于抑郁症临床试验研究。

Aug, 2011

使用鲁棒的参数效用学习框架，将用户交互建模为非合作博弈，并通过集成方法扩展来提高预测性能。应用于鼓励用户节能行为的社交游戏实验中，表现出良好的性能。

Apr, 2017

针对动态治疗方案中样本不足的问题，我们提出了一种新的个体化学习方法，以优化决策阶段中观测到的治疗轨迹与最佳治疗方案之间的一致性，并引入阶段重要性评分和注意机制来明确考虑决策阶段的异质性。在理论和实证研究中，我们证明了该方法的性质并对其性能进行了评估，包括广泛模拟环境和 COVID-19 疫情的实际案例研究。

Oct, 2023

本研究比较并评估了三种在医疗决策中学习个性化治疗方针的方法：两种间接方法和一种直接方法。研究结果表明，三种方法均优于临床医生，并在不同目标之间进行权衡。直接方法还具有其他优点，包括灵活地将其他目标纳入考量，适用于简单情况的医师推迟。

Jun, 2020

通过使用现有数据，我们详细介绍了临床医生制定动态治疗方案的方法，以及用于估算最优方案的两种主要方法：Q-learning 和 A-learning，并使用抑郁症研究的数据进行了说明。

Feb, 2012

通过使用新的去混淆 actor-critic 网络模型，基于电子健康记录的强化学习机制的动态治疗模式可获得更好的患者个体化通气治疗决策，从而提高患者的预后。

May, 2022

通过对超过 17,000 个评估实验的案例研究，我们批判性地检视了当前离线强化学习在动态治疗方案中的应用现状，并提出了评估指标的不一致性、缺乏基线比较、以及现有研究中选择的强化学习表示形式的多样性等关注点。令人惊讶的是，在一些情况下，随机基线方法和奖励设计方法的策略评估手段可以超过离线强化学习算法的性能。这要求我们在未来的动态治疗方案研究中要更加谨慎地进行策略评估和算法开发，并邀请社区进一步讨论。

May, 2024

强化学习在个性化医学中优化动态治疗方案方面有巨大潜力，但在模拟不同医疗场景和对 RL 算法的综合分析方面存在挑战，因此提出了 DTR-Bench，基于 4 个不同的仿真环境，针对常见 DTR 应用进行基准测试。实验结果表明，部分 RL 算法在噪声和患者变异存在时性能下降，且使用时间观察表示并不能一致地提高 DTR 设置中的性能。研究强调了发展强大、适应性强的 RL 算法的必要性，以有效管理这些复杂性以提升个体化医疗。

May, 2024

介绍了一种用于 Deep Reinforcement Learning 中 Q functions 的 mimic learning framework，使用 Linear Model U-trees 替代神经网络的 Q function 预测，通过分析特征影响、提取规则和突出图像输入中的超级像素来帮助理解神经网络的学习知识。

Jul, 2018