Dec, 2023

TCNCA: 多段关注的时间卷积网络用于可伸缩的序列处理

PDF
TL;DRTCNCA 是一种具有切分关注力的时间卷积网络，通过用一种特殊的时间卷积网络替换线性递归操作，在减少计算复杂度的同时提供更大的感受野大小和更浅的网络结构。在多个任务中，TCNCA 表现优于 MEGA，并在处理非常长的序列长度时具有可扩展性。
megatransformer-based architecturetcncatemporal convolutional networkreceptive field
发现论文，激发创造
  • 基于时间卷积关注的序列模型网络

    我们提出了一种基于时间卷积网络和注意力机制的探索性架构称为 TCAN，它不仅能够实现递归网络的近似替代，还可以吸收前向模型的优势，提高了 word-level PTB、character-level PTB 和 WikiText-2 等文本数据集的 bpc/perplexity 表现.

    Feb, 2020

  • NAC-TCN: 基于因果稀疏邻域注意力的时序卷积网络用于情感理解

    视频情感识别是通过一系列方法如 GRUs、LSTMs、自注意力机制、Transformers 和 TCNs 改善了基于视频情感识别，然而这些方法存在内存使用高、操作量大或梯度下降不良的问题。我们提出了一种称为邻域注意力与卷积 TCN（NAC-TCN）的方法，它结合了注意力和时序卷积网络的优点，并确保理解因果关系，从而减少计算和内存成本。我们的模型在标准的情感识别数据集上比 TCNs、TCAN、LSTMs 和 GRUs 取得了相当好或最先进的性能，并且需要较少的参数。我们在线发布了我们的代码，以便其他项目能够轻松复现和使用。

    Dec, 2023

  • 基于并行时空注意力的 TCN 模型用于多元时间序列预测

    该论文介绍了一种新的框架 PSTA-TCN，该框架将并行时空关注机制与轴承温网络相结合，从而达到了更长的记忆，并且使用并行计算大大缩短了训练时间，可以更好地用于多元时间序列预测任务。

    Mar, 2022

  • 粗到细的多分辨率时间卷积网络

    本文提出了一种新的带有多分辨率的粗到细结构解码器来处理序列断裂问题，使用多分辨率特征增强策略增强训练来提高对于不同时间分辨率的鲁棒性，同时提出了一个视频级别的行为损失来支持架构和鼓励序列的连贯性，在三个时间视频分割基准测试中打破了现有技术的记录。

    May, 2021

  • Mega: 移动平均装备的门控注意力

    本文介绍了 Mega，这是一种简单，从理论上得到支持的单头门控注意力机制，具有指数移动平均数以将位置感知的局部依赖性的归纳偏差纳入位置不可知的注意力机制中。通过将整个序列有效地分成多个具有固定长度的块以实现线性时间和空间复杂度，该文进一步提出了 Mega 的变体。在长序列建模、神经机器翻译、自回归语言建模以及图像和语音分类等广泛测试中，证明了 Mega 优于其他序列模型，包括 Transformer 的变体和最近的状态空间模型。

    Sep, 2022

  • TCJA-SNN: 面向脉冲神经网络的时域 - 通道联合注意力

    本论文提出了一种基于注意力机制的高效脉冲神经网络技术 —— 时间 - 通道联合注意 (TCJA) 架构单元，通过在空间和时间维度上有效地执行脉冲序列的相关性来实现更为数据有效的深度学习，运用压缩脉冲流，本地注意机制，1-D 卷积，交叉卷积融合等技术可以灵活地提取特征，同时，该方法在所有测试的静态和神经形态学数据集上的分类准确性 (SOTA) 最高可达 15.7%。

    Jun, 2022

  • 单调块级注意力

    本文介绍了一种名为 MoChA 的注意力机制，该机制可以将输入序列自适应地分成小块，以实现在线和线性时间解码，并在在线语音识别和文档摘要等任务中取得了良好的结果。

    Dec, 2017

  • MASA-TCN: 多锚空间感知时序卷积神经网络用于连续与离散脑电情绪识别

    利用电脑辅助情感识别 (EEG) 的主要场景有两种：离散标签的分类和连续标签的回归。虽然有很多算法用于分类任务，但回归任务的方法却很少。对于情感回归，标签在时间上是连续的。一种自然的方法是学习时间动态模式。在以往的研究中，使用长短期记忆 (LSTM) 和时间卷积神经网络 (TCN) 从 EEG 的特征向量中学习时间上下文信息。然而，EEG 的空间模式没有被有效提取。为了使 TCN 能够更好地进行回归和分类任务，并学习空间关系，我们提出了一种名为 MASA-TCN 的新型统一模型。空间感知的时间层使得 TCN 能够在 EEG 电极之间额外学习空间关系。此外，我们还提出了一种新的具有注意力融合的多锚块来学习动态时间依赖关系。在两个公开可用的数据集上的实验结果表明，MASA-TCN 在 EEG 情感回归和分类任务上的结果比最先进的方法更高。代码可在此 https URL 找到。

    Aug, 2023

  • TCN AA：一种基于 Wi-Fi 的时间卷积网络，用于带有数据增强和注意力机制的人与人之间的交互识别

    提出了一种新颖的基于 TCN-AA 的方法，该方法结合增强和注意力机制，具有更高的计算效率和准确率，在公共数据集上的表现优于现有技术，最终准确率为 99.42%。

    May, 2023

  • STCN：随机时态卷积网络

    本文提出了一种新的 STCN 体系结构，其将时间卷积网络（TCN）的计算优势与具有不同时间尺度的时间依赖性的随机潜在空间的表示能力和鲁棒性相结合，提高了多个任务的对数似然度，并且在手写文本建模中能够预测长时间跨度内的高质量合成样本。

    Feb, 2019