使用结构化状态空间模型进行反事实结果预测
借助控制微分方程的数学,提出一种新方法用于处理不规则采样数据的因果推断任务,即治疗效果神经控制微分方程(TE-CDE),以便在任何时间点评估可能的结果,并通过对抗性训练来解决长期临床研究中的时间相关混淆问题。该方法在一系列不规则采样的临床情境中的模拟环境中表现优于现有方法。
Jun, 2022
提出了一种结构化状态空间序列模型(S4),它在处理长依赖序列数据方面与传统模型相比有着更好的结果,通过调整状态矩阵可以将模型计算复杂度降低,达到了 SOTA 水平。
Oct, 2021
基于医学影像的个性化医学,可以准确预测未来个体化临床疾病进展和治疗反应,对于长期、复杂、异质性的无法治愈的疾病(如多发性硬化症(MS))的医疗和药物开发具有巨大影响。本文提出了第一个用于建模疾病进展的连续时间因果框架,利用神经随机微分方程(NSDE)。该因果推断模型以患者的高维影像(MRI)和表格数据为输入,预测潜空间中不同治疗的真实和反事实进展轨迹。NSDE 允许估计高置信度的个性化轨迹和治疗效果。在多中心独家数据集上进行了大量实验,该数据集包括在多个随机临床试验中获得的患者 3D MRI 和临床数据。我们的结果展示了第一个基于不确定性的因果深度学习(DL)模型,可以准确预测未来患者的 MS 残疾发展(如 EDSS)和治疗效果,利用基线 MRI,并且可以发现在临床试验中没有达到临床终点的患者亚组,模型对他们的治疗反应具有高置信度。
Jun, 2024
提出了一种名为 SpaceTime 的新型状态空间时间序列体系结构,其通过一种新的 SSM 参数化基于伴随矩阵来提高表现力,并引入一个 “闭环” 变化的伴随 SSM,使其能够生成自己的逐层输入进行长期预测,同时通过算法实现前向传递的内存和计算效率提高,并在大量不同的基准测试中取得最先进的结果。
Mar, 2023
本研究提出两种算法:一种通过轨迹实现离线训练,另一种通过一种基于稳定 Actor-Critic 机制的循环训练方法实现在线训练,实验结果证明该方法优于多种变体的决策 Transformer 以及其他基准方法,同时降低了延迟、参数数量和训练时间,更适用于现实世界的 RL。
Jun, 2023
本研究旨在探索长序列数据中的长程依赖性,评估 S4 和 DSS 模型在多种模态下的性能提升,并针对包括 Long Range Arena 任务和语音分类在内的不同任务进行了性能测试。结果表明,在某些任务上 DSS 模型的表现可媲美 S4 模型,且实现方式更为直接简单。
Mar, 2022
本文提出了一种基于扩散回归状态空间模型的方法,用于推断经济学干预措施对于市场结果指标的因果影响,相较于差异 - 差异方案,该模型有助于灵活适应多种变异来源,并在模拟和实际数据上进行了验证。
Jun, 2015
本研究通过将结构信息整合到在线逼近目标中,采用拉普拉斯正则化项,将状态空间模型理论扩展到时间图,提出了 GraphSSM 框架,用于建模时间图的动态性,实验证明 GraphSSM 在各种时间图基准测试中的有效性。
Jun, 2024
基于原始感官数据的推理是一个普遍存在的问题,本研究提出了一种基于分层状态空间模型(HiSS)的新技术,用于连续的序列预测,并在六个真实传感器数据集上展示了其优越性。
Feb, 2024
提出了一种在干预前使用局部时空信息预估反事实序列借助于位置编码、修改的解码器注意力掩码和新的预训练任务的 Transformer 模型,可以生成有用的医疗洞见和对疾病的干预策略进行评估的结果。
Jul, 2022