Sep, 2023

从时间序列的注意力中提取可解释的局部和全局表示

PDF
TL;DR本研究论文研究了在时间序列数据的背景下，基于局部抽象和全局表示的两种 Transformer 注意力解释性方法，提供了一个综合框架来讨论它们在一般解释选择上的具体实例化，详细概述了它们各自的计算实现和抽象变体，并通过广泛的实验展示了所提出方法的有效性。
transformer attentioninterpretabilitytime series dataabstractioncomputational implementation
发现论文，激发创造
  • 注意力作为稳健的时间序列预测表示

    我们的研究表明，利用全局标记和局部窗口构建的注意力图作为数据点的稳健核表示，可以提高时间序列的预测准确性，并且在不改变核心神经网络结构的情况下，我们的方法胜过了最先进的模型，将多变量时间序列预测的均方误差 (MSE) 降低了显著的 3.6%。它是一个通用的组件，可以轻松替代最近的基于分块的嵌入方案，提升基于 transformer 模型的性能。

    Feb, 2024

  • AttentionViz: Transformer 注意力的全局视图

    本文介绍了一种新的可视化技术，旨在帮助研究人员理解转换器中的自我注意机制，并演示了基于 query-key 嵌入的交互式可视化工具 AttentionViz，以改进模型的理解和提供关于查询 - 键交互的新见解。

    May, 2023

  • 时间转换器：将本地和全局特征整合以获得更好的时间序列生成

    提出了一种名为 “Time-Transformer AAE” 的新型时间序列生成模型，该模型能够有效地学习时间序列数据的局部和全局特性，并具有数据增强的能力来支持使用小型和不平衡的数据集进行学习。

    Dec, 2023

  • 探索和提取跨模态信息以用于图像字幕生成

    本研究提出基于 Transformer 的全局与局部信息探索与提炼方法，在跨模态视角下探究图像字幕生成，并在 COCO 测试集上取得了 129.3 的 CIDEr 分数。

    Feb, 2020

  • 局部到全局的视觉 Transformer 自注意力

    本研究提出了多通路结构的 Transformer 模型，实现局部到全局的多粒度特征推理，相较于现有的分层设计模型，在增加了极小的计算量的同时，在图像分类和语义分割任务上取得了显著的提高。

    Jul, 2021

  • 基于梯度的时间序列解释方法：通过时空注意力网络

    探索使用基于 transformer 的时空关注网络 (STAN) 进行基于梯度的时间序列解释的可行性，并通过训练 STAN 模型在时间序列数据的全局和局部视图上进行视频分类，然后利用基于梯度的 XAI 技术 (如显著图) 识别时间序列数据的重要帧，并在使用四种相关医学活动的数据集进行实验中，STAN 模型展示了识别视频重要帧的潜力。

    May, 2024

  • 摘要文档生成的注意力优化

    该论文提出了一种基于序列到序列的文档摘要模型中的注意力机制改进方法，结合局部方差损失和全局方差损失分别从局部和全局方面增强注意力的监督，并在 CNN/Daily Mail 数据集上验证了其有效性。

    Oct, 2019

  • 超越注意力可视化的 Transformer 可解释性

    本研究提出了一种基于 Deep Taylor Decomposition 原则的计算 Transformer 网络相关性的方法，通过注意力层和跳跃连接进行传播，并通过基于图像分类和文本分类问题的测试表明其在解释性方面优于现有方法。

    Dec, 2020

  • 抽象文本摘要中的地域性优化

    本文研究了在长文本摘要场景中采用限定范围的模型是否能够提供比具有全局范围的模型更高的性能，并探讨了在不同层次（从句子到文档）的三种文本局部性，实验结果表明，采用局部化建模策略的模型具有更好的性能。

    May, 2022

  • 块级 Transformer：全局到局部的语言建模以提高快速推理能力

    通过采用分层的全局到局部建模的方法，本研究提出了块变压器架构，以缓解自注意力所带来的推理瓶颈。通过在较低层应用快速局部建模和在较高层应用全局建模，以减轻与全局上下文相关的计算代价，并通过聚合输入令牌来降低较低层的计算代价，在没有全局注意力瓶颈的情况下，较高层可以充分利用计算硬件以最大化推理吞吐量，并优化了语言模型推理过程。

    Jun, 2024