基于时间卷积关注的序列模型网络
该论文介绍了一种新的框架 PSTA-TCN,该框架将并行时空关注机制与轴承温网络相结合,从而达到了更长的记忆,并且使用并行计算大大缩短了训练时间,可以更好地用于多元时间序列预测任务。
Mar, 2022
视频情感识别是通过一系列方法如 GRUs、LSTMs、自注意力机制、Transformers 和 TCNs 改善了基于视频情感识别,然而这些方法存在内存使用高、操作量大或梯度下降不良的问题。我们提出了一种称为邻域注意力与卷积 TCN(NAC-TCN)的方法,它结合了注意力和时序卷积网络的优点,并确保理解因果关系,从而减少计算和内存成本。我们的模型在标准的情感识别数据集上比 TCNs、TCAN、LSTMs 和 GRUs 取得了相当好或最先进的性能,并且需要较少的参数。我们在线发布了我们的代码,以便其他项目能够轻松复现和使用。
Dec, 2023
基于时间嵌入的级联注意力网络(TCAN)是一个面向大规模信息网络的新型流行度预测架构,通过将时间属性嵌入到节点特征中,并利用级联图注意力编码器(CGAT)和级联序列注意力编码器(CSAT)来完全学习级联图和级联序列的表示,从而实现对信息流的预测。
Aug, 2023
本文提出了基于注意力卷积网络的端到端场景文本识别方法,通过卷积神经网络 (CNN) 代替循环神经网络 (RNN) 来实现输入序列的上下文依赖关系的准确捕捉,提高了识别效率,并结合残余注意力模块进一步提高特征识别的准确性。该方法在多个数据集上验证结果显示了显著的性能优势。
Sep, 2017
本文提出了 SAN-CTC,是一种基于自注意力机制和 CTC 的深度神经网络,用于实现端到端的语音识别,经过评估,相比于现有的 CTC 模型和编码器 - 解码器模型,具有更好的性能。
Jan, 2019
本文中,我们介绍了一种利用卷积神经网络检测具有局部平移不变性和长远主题型注意力特征的关注神经网络,用于解决将源代码片段极端归纳为类似函数名称的概述的问题,在十个流行的 Java 项目中进行测试,并显示出优于之前注意性机制的性能。
Feb, 2016
通过使用基于卷积神经网络而非 encoder-decoder 结构的方法,每一层在输出序列上重新编码源标记,我们的模型在参数更少的情况下表现出色,优于现有的机器翻译系统。
Aug, 2018
提出了一种新颖的基于 TCN-AA 的方法,该方法结合增强和注意力机制,具有更高的计算效率和准确率,在公共数据集上的表现优于现有技术,最终准确率为 99.42%。
May, 2023
本文研究比较了常用的双向 LSTM 和新型的 Acausal TCN 模型在阿拉伯语、约鲁巴语和越南语标音任务上的表现,研究结果表明 A-TCN 模型不仅表现优越,而且在运行速度上也更有效率。
Dec, 2019
本文提出了一种称为 Temporal Attention-Gated Model (TAGM) 的模型,将注意力模型和门控循环网络的思想集成在一起,以更好地处理嘈杂或未分段的序列,实现了更好的预测准确性和可解释性,这在口头数字识别,基于文本的情感分析和视觉事件识别等三个不同的任务中得到了证明。
Dec, 2016