保持动态关注力的长期时空预测

KDDJun, 2020

Preserving Dynamic Attention for Long-Term Spatial-Temporal Prediction

Haoxing Lin, Rufan Bai, Weijia Jia, Xinyu Yang, Yongjian You

TL;DR该论文提出了一种具有多空间注意力机制的动态切换 - 注意力网络（DSAN），用于解决城市智能数据挖掘系统中的长期预测问题。通过在输入和输出之间显式测量关联性并应用自我注意来提取有价值的信息，并通过实现切换 - 注意力机制将输出直接连接到精制的输入来过滤无关噪声和减轻错误传播。在两个空间 - 时间预测任务上进行了广泛的实验，证明了 DSAN 在短期和长期预测中的卓越优势。

Abstract

Effective long-term predictions have been increasingly demanded in urban-wise data mining systems. Many practical applications, such as accident prevention and resource pre-allocation, require an extended period for preparation. However, challenges come as long-term prediction is highl

urban-wise data mining long-term prediction spatial-temporal correlation dynamic switch-attention network multi-space attention

发现论文，激发创造

DSANet：视频层面表征学习的动态片段聚合网络

本文介绍了一种新颖的动态分段聚合（DSA）模块，该模块通过可调式地减少卷积操作来聚合相邻片段的长时程信息，结合 TSM、I3D 等开箱即用的基于剪辑的模型，提供了一种高效且具有优越性能的视频识别 DSANet 架构。

May, 2021

利用持久性内存模型的 DFSMN-SAN 自动语音识别

本文研究将自我关注网络和带增强记忆的自我关注层引入自动语音识别中，提出了一种 DFSMN-SAN 架构来比较两种类型的自我关注层的效果，实验证明该模型在大规模语音识别任务中相较于基准模型有较大幅度的性能提升。

Oct, 2019

交通流预测的自适应图空时转换网络

该论文提出了一种基于自适应图形时空网络和 Transformer 的交叉空间时间注意力机制，在流量预测上的实验结果表明其具有更优秀的性能。

Jul, 2022

基于时空注意力融合的动态图卷积网络用于交通流量预测

本文提出了一种新颖的动态图卷积神经网络，采用时空关注融合的方法，全面地模拟了长距离和多尺度的时空模式，取得了 22 种基线模型之外的最先进表现。

Feb, 2023

DiSAN: 面向无 RNN/CNN 的语言理解的定向自注意力网络

提出了一种新颖的方向性多维度自注意力机制 DiSAN，用于句子编码，相对于复杂的 RNN 模型，它在预测质量和时间效率方面表现更好，并在多个数据集上得到了最优的测试准确性表现。

Sep, 2017

视频语义分割的时间记忆注意力

该研究提出了一种基于自我注意力机制和长远时间关系的 Temporal Memory Attention Network（TMANet），来达到视频语义分割的最佳性能，尤其在 Cityscapes 和 CamVid 数据集上表现出新的最佳性能，并且避免了消耗大量计算资源的精确光流建模的缺点。

Feb, 2021

PASTA：并行时空关注与空间自相关门控用于细粒度人群流预测

该研究提出了一种通过建模细粒度城市范围内历史人流的时空模式来预测未来城市范围内人流的方法，利用一种名为 PASTA 的神经网络来准确捕捉细粒度地图的不规则时空模式，实验结果表明我们的模型在存在不规则空间区域的复杂条件下表现优于其他基准模型，并提供定性分析以得出模型高度关注的关键时间信息。

Oct, 2023

任务导向接地的动态注意力网络

本文提出了一种新的动态注意力网络架构，用于文本和视觉表示的高效多模态融合，从而实现自然语言指令下机器人对环境的理解和控制，模型通过 LSTM 实现动态关注，基于任务的接地和增强学习控制中取得了良好效果。

Oct, 2019

利用时间注意力在网格化简空间中预测物理

本文提出一种基于图的下一步预测模型，采用了一种类 Transformer 的时序关注模型来捕捉长期的依赖关系，利用编码器 - 解码器结构来总结特征和创建系统状态的紧凑网格表示，并在几个复杂的流体力学预测任务中优于竞争性 GNN 基线，可以帮助解决高维物理问题的序列建模。

Jan, 2022

卷积自注意力网络

本篇论文介绍了一种新颖的卷积自注意力网络，通过引入多头注意力机制，加强了邻近元素之间的依赖关系，并能够对各个注意力头提取的特征之间的交互进行建模，用于机器翻译任务中能有效提高自注意力网络的本地性，实验证明该方法优于常用的 Transformer 模型和其他已有的模型，并且没有更多的额外参数。

Apr, 2019