基于梯度的时间序列解释方法:通过时空注意力网络
提出了一种可解释的空时图神经网络(STExplainer)框架,以提高 Spatio-temporal Graph Neural Networks(STGNNs)的可解释性,同时实现准确的预测和可信的解释。通过与其他模型的实验比较,证明 STExplainer 在交通和犯罪预测任务中具有更高的预测精度和可解释度,并能更好地处理数据丢失和稀疏性问题。
Oct, 2023
提出了一种基于 Spatio-Temporal Attention Network (STAN) 的地点推荐方法,利用自注意层解决了现有模型中非相邻地点和非连续拜访贡献的问题,并通过可视化证明其比现有最先进的方法表现更好,可以更好地根据用户轨迹进行个性化的地点推荐
Feb, 2021
通过引入视点不变特征表示,研究提高现有动作识别架构;提出了一种轻量级通用的空间 - 时间对齐网络(STAN)用于学习动作识别的几何不变表示;实验证明 STAN 模型在广泛使用的数据集上能够在从头开始训练的模式下持续改进动作识别任务的最先进模型。
Aug, 2023
本研究提出使用关注机制进行轨迹预测的 STAR 模型,采用 TGConv 和临时 Transformer 模型,以及可读写的外部记忆模块,以实现复杂的时空交互并实现了 5 个真实世界的行人预测数据集的最新性能。
May, 2020
本文介绍了一种新颖的时空变换网络,其中引入了几个原创组件以在未修剪视频中检测动作。该网络通过多特征选择性语义注意力模型计算空间和运动特征之间的关联,使用运动感知网络编码视频帧中的动作位置,并采用序列基础的时间注意力模型捕捉动作帧中的异质时间依赖关系,该方法在四个时空动作数据集上优于最先进的解决方案:AVA 2.2、AVA 2.1、UCF101-24 和 EPIC-Kitchens。
May, 2024
基于历史序列预测未来序列的时空预测学习提供了一种自监督学习范式,主流方法利用循环单元进行建模,但循环单元的并行性不足,常常在现实场景中表现欠佳。为了在保持计算效率的同时提高预测质量,我们提出了一种创新的三元注意力变换器,在设计上捕捉了帧间动态与帧内静态特征。通过将 Triplet Attention Module (TAM) 整合到模型中,我们取代了传统的循环单元,并对时空和通道维度中的自注意力机制进行了深入探索。在这种配置下:(i) 时序标记包含了帧间的抽象表示,有助于捕捉固有的时序依赖性;(ii) 空间和通道的注意力结合,通过在空间和通道维度上进行细粒度交互来改进帧内表示。交替运用时序、空间和通道级别的注意力使得我们的方法能够学习更复杂的短程和长程时空依赖关系。广泛的实验表明,我们的方法在移动物体轨迹预测、交通流预测、驾驶场景预测和人体动作捕捉等多种场景下性能超过了现有的基于循环和非循环方法,达到了最先进水平。
Oct, 2023
本文采用多帧点云视频中的时间信息来探测 3D 物体。研究者们提出了一种名为 GMPNet 的格网信息传递网络来编码短期时间信息,并提出了一个名为 AST-GRU 的基于注意力的时空变换 GRU 来进一步聚合长期帧。在 NuScenes 基准测试中,该方法表现优异,且不需要任何额外的手段。
Jul, 2022
本文提出了一种基于空间 - 时间变换器 (STTran) 的神经网络,用于生成给定视频的动态场景图。STTran 包括一个空间编码器和一个时间解码器,能够有效地捕捉对象之间的视觉关系和帧之间的时间依赖。与已有方法相比,我们的方法在 Action Genome 数据集上表现出了更好的性能。
Jul, 2021
对于时间序列分类,本文广泛分析了时间序列特征和时间归因的显著性解释模型的一致性和鲁棒性,并发现它们在各种程度上都存在一些缺乏一致和鲁棒性的问题。通过指出有缺陷的显著性解释模型,我们激励了对时间序列分类开发一致和鲁棒的解释方法。
Sep, 2023