Oct, 2023

阶段感知学习动态治疗

PDF
TL;DR针对动态治疗方案中样本不足的问题，我们提出了一种新的个体化学习方法，以优化决策阶段中观测到的治疗轨迹与最佳治疗方案之间的一致性，并引入阶段重要性评分和注意机制来明确考虑决策阶段的异质性。在理论和实证研究中，我们证明了该方法的性质并对其性能进行了评估，包括广泛模拟环境和 COVID-19 疫情的实际案例研究。
dynamic treatment regimesindividualized learning methodoptimal treatment searching algorithmssample efficiencycovid-19 pandemic
发现论文，激发创造
  • 基于核的分布式 Q-Learning：一种针对动态治疗方案的可扩展强化学习方法

    本篇论文提出了一种新的分布式 Q-learning 算法，用于生成动态治疗规则 (DTRs)。该算法可有效地处理大量的电子病历数据，并在临床癌症治疗方面表现出比传统算法更好的预测精度和计算成本。

    Feb, 2023

  • 估计最优动态治疗方案的 $Q$- 和 $A$- 学习方法

    通过使用现有数据，我们详细介绍了临床医生制定动态治疗方案的方法，以及用于估算最优方案的两种主要方法：Q-learning 和 A-learning，并使用抑郁症研究的数据进行了说明。

    Feb, 2012

  • 最优动态治疗规则 SuperLearner：考虑因素、性能和应用

    本文介绍了 ODTR 超级学习算法在治疗效果异质性方面的应用，并通过模拟和实验研究证明了其能有效检测患者对不同治疗方式的反应，并针对实际情况提出了实施算法的注意事项和建议。

    Jan, 2021

  • 学习何时治疗的策略

    开发了一种基于 “优势双倍稳健” 估计器的动态治疗规则学习方法，适用于顺序无关性假设，证明了福利遗憾界，展示了在几种不同背景下有希望的实证表现。该方法适用于政策优化，不需要任何结构性假设。

    May, 2019

  • 使用策略适应去交织 Actor-Critic 网络以支持动态治疗方案

    通过使用新的去混淆 actor-critic 网络模型，基于电子健康记录的强化学习机制的动态治疗模式可获得更好的患者个体化通气治疗决策，从而提高患者的预后。

    May, 2022

  • DTR-Bench：基于强化学习的动态治疗方案的用于环境和基准平台

    强化学习在个性化医学中优化动态治疗方案方面有巨大潜力，但在模拟不同医疗场景和对 RL 算法的综合分析方面存在挑战，因此提出了 DTR-Bench，基于 4 个不同的仿真环境，针对常见 DTR 应用进行基准测试。实验结果表明，部分 RL 算法在噪声和患者变异存在时性能下降，且使用时间观察表示并不能一致地提高 DTR 设置中的性能。研究强调了发展强大、适应性强的 RL 算法的必要性，以有效管理这些复杂性以提升个体化医疗。

    May, 2024

  • 将患者偏好纳入 Q-Learning 的灵活框架

    在实际医疗问题中，经常存在着多个竞争性的关注点，如治疗效果和副作用严重程度。本研究提出了一种新的方法，称为隐性效用 Q 学习（LUQ-Learning），来解决现有方法在评估复合结果时存在的限制，包括对单一时间点和两个结果的约束、无法纳入患者自述的偏好和有限的理论保证。我们的方法在模拟实验中表现优异，并与多个替代方案相比具有高度竞争的实证表现。

    Jul, 2023

  • 动态治疗方案中的强化学习需要全面重新审视

    通过对超过 17,000 个评估实验的案例研究，我们批判性地检视了当前离线强化学习在动态治疗方案中的应用现状，并提出了评估指标的不一致性、缺乏基线比较、以及现有研究中选择的强化学习表示形式的多样性等关注点。令人惊讶的是，在一些情况下，随机基线方法和奖励设计方法的策略评估手段可以超过离线强化学习算法的性能。这要求我们在未来的动态治疗方案研究中要更加谨慎地进行策略评估和算法开发，并邀请社区进一步讨论。

    May, 2024

  • 动态局部平均治疗效应

    动态治疗方案中的非合规问题的非参数识别、估计和推断

    May, 2024

  • 学习最优的分布鲁棒个性化治疗规则

    本文提出了一种基于分布鲁棒性的个性化决策模型，在训练和测试分布存在差异时，通过最大化最差情况下的价值函数，得出具有更好泛化性能的最优个性化治疗方案。

    Jun, 2020