Nov, 2023

用层级修补的动态局部注意力处理不规则临床时间序列

PDF
TL;DR提出了一种新的模型架构，包括动态局部注意机制（DLA）和分层 MLP 混合器（hierarchical MLP mixer），以解决临床和医疗领域中普遍存在的不规则多变量时间序列数据的挑战。该模型在三个真实世界数据集上表现优于现有方法，包括最新的临床 MIMIC IV 数据集。
irregular multivariate time series datamachine learning methodsdynamic local attention mechanismhierarchical mlp mixerclinical mimic iv dataset
发现论文，激发创造
  • 不规则采样时间序列的多时间注意力网络

    本篇论文针对电子健康档案中所涉及的稀疏、不规则采样、多变量的生理时序数据提出一种名为 Multi-Time Attention Networks 的多时间注意网络的深度学习框架，并使用多个数据集进行内插和分类任务的性能研究，结果表明该框架的性能优于许多基线和最近提出的模型，同时提供了比当前最先进方法更快的训练速度。

    Jan, 2021

  • 时间序列分类中注意力机制的反思

    本文提出了一种灵活的多头线性注意力（FMLA）方法，通过与可变形卷积块和在线知识蒸馏进行分层交互来提高局部感知能力。此外，我们还提出了一种简单但有效的掩码机制，以减少时间序列中的噪声影响并降低 FMLA 的冗余。通过多次以随机掩码层转发样本并聚合其输出来稳定此机制，并将其与 11 种已知算法进行比较，结果表明我们的算法在 top-1 准确性方面具有可比性，并以浮点运算每秒和参数数量方面将其与三种基于 Transformer 的模型进行比较，发现我们的算法在更低的复杂度下实现了更好的效率。

    Jul, 2022

  • 使用注意力模型进行临床时间序列分析

    该论文针对临床时间序列数据，采用注意力机制代替循环神经网络，提出了一种新的架构 SAnD（Simply Attend and Diagnose），并证明该方法在多项诊断任务中表现优异，胜过 LSTM 模型和基于手工特征的经典基线模型。

    Nov, 2017

  • 多元时间序列预测的时间模式关注

    本文提出了一种基于循环神经网络带有注意力机制和频域信息的多元时间序列预测方法，并在多项实际应用任务中实现了最佳性能。

    Sep, 2018

  • 多区块预测：适应时序表示学习的 LLM 调整

    本研究提出了一种创新的框架 aLLM4TS，用于适应大型语言模型（LLMs）进行时间序列表示学习，并通过将时间序列预测重新构想为自监督的多补丁预测任务，比传统的遮罩和重建方法更有效地捕捉了补丁表示中的时间动态。我们的策略包括两个阶段的训练：（i）在各种时间序列数据集上基于下一个补丁预测进行因果连续预训练阶段，有效地将 LLM 的能力与时间序列数据的复杂性同步；（ii）在目标时间序列环境中进行多补丁预测的微调。我们框架的一个独特要素是基于补丁的解码层，摒弃了先前依赖序列级解码的方法。这种设计直接将各个补丁转换为时间序列，从而显著增强了模型在掌握基于时间补丁的表示方面的能力。aLLM4TS 在多个下游任务中表现出卓越性能，证明了它在提高传递性的时间表示方面的有效性，并在 LLMs 用于时间序列分析的适应性方面取得了重要进展。

    Feb, 2024

  • PatchAD：基于补丁的 MLP-Mixer 用于时间序列异常检测

    PatchAD 是一种新颖的多尺度基于补丁的 MLP-Mixer 架构，利用对比学习进行表示提取和异常检测的方法，通过使用 MLP 架构，高效轻量化地实现了一种先进的异常检测方案。

    Jan, 2024

  • 非规则医疗时间序列的时间聚类不变性

    本研究基于数据时间聚类的不变性，提出了分析多变量临床时间序列数据的模型以及一种数据扩充技术方案，用于规范化深度神经网络中医学预测任务，该方法以评估医疗预测任务为基准，提高了其预测精度。

    Apr, 2019

  • 距离感知自注意力深度多实例学习

    提出了一种新的多实例学习（MIL）模型，使用距离感知自注意力（DAS-MIL）来考虑图像中不同补丁之间的相对空间关系，以提高医学图像分析的精度。通过在 MNIST-based MIL 数据集和公开的癌症转移检测数据集 CAMELYON16 上评估我们的模型，证明了该模型超越了现有的多数 MIL 方法。

    May, 2023

  • 超越自注意力：用于医学图像分割的可变形大卷积核注意力

    介绍了一种新的分层视觉 Transformer 网络模型 (D-LKA Net)，采用变形大核注意力机制以完全理解体积上下文信息，并在医学图像分割任务上展现出卓越的性能。

    Aug, 2023

  • 利用非规则多模态电子病历建模改进医疗预测

    本论文通过手工建模和学习内插嵌入，采用分离机制建模不规则的时间序列；采用时间注意力机制，将临床记录的一系列表示为多元不规则时间序列，并采用交织注意机制跨时间步骤进行多模态融合，以整合多模态表示。结果表明，我们提出的方法在单一模态和多模态情景下都优于现有方法，说明了我们方法的有效性和模拟不规则性的价值。

    Oct, 2022