LaTiM: 在连续时间模型中进行纵向表示学习用于预测疾病进展

Apr, 2024

LaTiM: 在连续时间模型中进行纵向表示学习用于预测疾病进展

LaTiM: Longitudinal representation learning in continuous-time models to predict disease progression

Rachid Zeghlache, Pierre-Henri Conze, Mostafa El Habib Daho, Yihao Li, Hugo Le Boité...

TL;DR该研究提出了一种使用时间感知神经常微分方程（NODE）分析疾病进展的新框架。我们引入了一个在自监督学习（SSL）中训练的 “时间感知头”，以利用潜在空间中的时间信息来进行数据增强。与缺乏显式时间集成的传统方法相比，该方法有效地将 NODE 和 SSL 结合，提供显著的性能改进。我们利用 OPHDIAT 数据库展示了我们的策略在糖尿病视网膜病变进展预测中的有效性。与基准线相比，所有的 NODE 架构在 ROC 曲线下面积（AUC）和 Kappa 指标上都取得了统计显著的改进，突显了使用 SSL 启发式方法进行预训练的效果。此外，我们的框架促进了 NODE 的稳定训练，在时间感知建模中经常遇到的挑战中取得了突破。

Abstract

This work proposes a novel framework for analyzing disease progression using time-aware neural ordinary differential equations (NODE). We introduce a "time-aware head" in a framework trained through →

disease progression time-aware neural ordinary differential equations self-supervised learning temporal integration diabetic retinopathy progression prediction

发现论文，激发创造

神经常微分方程的纵向自我监督学习

本研究探索了自我监督学习算法在疾病进展方面的应用，重点研究了纵向自我监督学习算法及神经普通微分方程的潜力，并在糖尿病视网膜病变的纵向数据集上验证了相关算法，结果表明神经普通微分方程和纵向自我监督学习算法的结合潜力巨大。

Oct, 2023

潜时间神经常微分方程

本文提出了一种独特的方法，通过考虑 ODE 求解器的结束时间 T 的分布来模拟 NODE 中的不确定性，从而提高了 NODE 模型的鲁棒性和不确定性建模能力，并提出了自适应的潜在时间 NODE (ALT-NODE)。

Dec, 2021

LMT：从单张图像预测疾病进展的纵向混合训练框架

本研究提出了一种结合纵向成像、糖尿病视网膜病变、神经常微分方程以及 $ t_{mix} $ 增强的纵向混合训练（LMT）框架，用于检测和预测糖尿病视网膜病变的进展。结果显示，我们的纵向任务可以学习糖尿病视网膜病变的进程，并且引入 $ t_{mix} $ 增强对于时间感知模型是有益的。

Oct, 2023

神经常微分方程的鲁棒性和不确定性建模改进

本文提出一种新的方法，通过考虑 ODE 求解器的终止时间 T 上的分布来模型化神经 ODE 中的不确定性，采用贝叶斯学习从数据中获得 T 的后验分布，从而实现模型选择的自动化，并用 ALT-NODE 模型来使每个数据点有自己独特的 T 的后验分布，多个后验样本的 NODE 表示可以有效预测，通过实验在合成数据和现实世界图像分类数据取得了较好的效果。

Dec, 2021

可解释的深度学习用于肿瘤动力模型化和整体生存预测的神经微分方程

提出了使用肿瘤动力学神经 - 常微分方程 (TDNODE) 作为一种药理学信息推理神经网络，以便从肿瘤长期大小数据中实现模型发现，并且证明了该方法能够准确地预测患者的整体生存。

Aug, 2023

ImageFlowNet: 不规则采样的长期医学图像预测多尺度疾病进展轨迹

通过使用神经 ODE 和 SDE 模拟疾病进展的图像流场，ImageFlowNet 框架能够学习多尺度联合表示空间，并通过结合患者群体来传递信息，从而在长期医学图像数据集中准确预测疾病进展。

Jun, 2024

L-MAE: 长纵向掩码自编码器中的时间和严重性感知编码，用于糖尿病视网膜病变进展预测

本文提出基于自监督学习（SSL）的预训练策略，针对医学图像的非典型性，开发了一种基于 Transformer 的纵向遮蔽自编码器 (MAE)，研究了时间感知的位置嵌入和疾病进展感知的遮蔽策略，通过评估在糖尿病视网膜病变（DR）筛查数据集上的预训练权重，证明了这些扩展显著提高深度分类模型的预测能力。

Mar, 2024

Taylor-Lagrange 神经常微分方程：迈向快速训练和评估神经 ODE

提出了一种数据驱动的积分方法，称为 Taylor-Lagrange NODEs (TL-NODEs)，它使用定阶 Taylor 扩展进行数值积分，同时学习估计扩展的近似误差，从而在保持准确性的前提下，仅使用低阶 Taylor 扩展，大大降低了计算成本。一系列数值实验表明，TL-NODEs 比现有方法快一个数量级以上，性能也不会降低。

Jan, 2022

用于降阶模型关闭的潜空间动态的时序学习

研究了 LSTM 和 NODE 在学习动态微分方程潜在空间表示方面的性能，并通过两个粘性 Burgers 方程测试验证了其在系统封闭方面的能力。

Jun, 2019

操作员学习启发的神经常微分方程建模

神经常微分方程（NODEs）是基于常微分方程的深度学习中最具影响力的作品之一，它不断推广残差网络，并开创了一个新领域。本文提出了一种基于神经算子的方法来定义时间导数术语，称为分支傅里叶神经算子（BFNO），在各种下游任务中，我们的方法明显优于现有方法。

Dec, 2023