用于多元时间序列分类的门控 Transformer 网络
本文旨在阐述使用 GRU 替换 LSTM 来构造 GRU-FCN 的时间序列分类方法,在多个时间序列数据集上达到了最佳的分类效果。同时,由于 GRU 使用的是较简单的结构,它具有较少的训练参数、更短的训练时间和更简单的硬件实现,相较于基于 LSTM 的模型而言更加优越。
Dec, 2018
提出了基于变换的网络架构设计计划,包括傅里叶变换、奇异值分解、矩阵乘法和卷积块。这些变换机制在学习中具有增强的可接受范围,可以跨尺度融合特征。经过多次测试比较,基于该设计计划的 TLNets 在长期时间序列预测方面表现有明显的潜力。
May, 2023
该研究提出了一种面向多变量时间序列数据的图神经网络框架,采用图学习模块提取自动生成的变量之间的关系,同时运用新颖的混合传递和膨胀创新层捕捉时间序列中的空间和时间相关性,而这些模块被联合学习在一个端对端框架中。实验结果表明,该模型的性能在 3 个基准数据集上优于现有最先进方法,并在提供额外结构信息的两个交通数据集上实现了与其他方法相当的性能。
May, 2020
生成模型的新类别 - 生成拓扑网络(GTNs)使用简单的监督学习方法并基于拓扑理论进行确定性训练。在 MNIST、celebA 和 Hands and Palm Images 数据集中展示了 GTNs 的优势,并通过 GTNs 的理论提供了改进性能的培训方法。
Jun, 2024
本论文提出了一种名为 GTNs 的图转换器网络,能够在图上进行节点表示的学习,同时生成新的图结构以及识别原始图上未连接点之间有用的连接。实验表明,GTNs 有效地生成新的图结构,通过卷积在新图上产生具有强大表现力的节点表示,并在三个基准节点分类任务中取得了最佳表现。
Nov, 2019
本文探讨了如何最大化在目标域上的性能,通过域适应学习方法和使用门控卷积神经网络来过滤掉领域相关知识,以提高针对目标域的情感分析的性能。经过广泛实验,我们发现使用门控卷积神经网络在目标域上的表现显著优于常规卷积和循环神经网络架构,并且通过卷积实现并行化,具有更高的效率。
May, 2019
本文通过引入编码上下文并在条件生成对抗网络中使用,扩展了基于 Transformer 的时间序列生成对抗网络 (TTS-GAN),从而可以使用一个模型来拟合具有多个子组件的混合分布。通过定性和定量的评估指标,我们展示了该模型可以生成高维度和长时间序列数据,并在不同条件下具有较好的性能。
Oct, 2022
该研究通过重新审视时间序列变压器并确定先前研究的不足,引入了一种名为 Timely Generative Pre-trained Transformer 的创新架构。该架构通过整合递归注意力和时间卷积模块来有效地捕获长序列中的全局 - 局部时间依赖关系,并利用相对位置嵌入和时间衰减处理趋势和周期模式。实验结果表明,该模型在建模连续监测生物信号以及纵向电子健康记录中经常出现的非规则采样时间序列数据方面表现出色,这一突破意味着时间序列深度学习研究的优先级转向了大规模预训练而非从头开始的小规模建模。
Nov, 2023
提出了一种基于多模型 Transformer 的深度学习架构,通过整合临床记录,实现了对心血管疾病的多类别检测,并为实现临床和急诊环境下的实时患者状态监测奠定了基础。
Feb, 2023
介绍了一种基于 transformer 的生成对抗网络用于扩充时间序列的数据大小,实现了能够生成与真实数据序列类似的合成时间序列数据。
Feb, 2022