卷积神经网络中的时序嵌入以强化对抽象片段的鲁棒学习
地理空间活动与土地利用类型之间存在相关性。提出一种新颖的自监督方法，基于运动活动时间序列对景观进行分层。时间序列信号首先转换到频域，然后通过压缩自编码器转换为与任务无关的时间嵌入，该方法保留了时间序列中观察到的循环时间模式。通过深度语义分割，将像素级嵌入转换为类似图像的通道，可用于基于任务的异模态建模和下游地理空间任务的建模。实验证明，时间嵌入是时间序列数据的语义有意义的表示方法，并且在不同的任务中如分类住宅区和商业区等有着良好的效果。时间嵌入将时空运动轨迹数据转换为语义有意义的类似图像的张量表示，可以与其他数据模态（如 RBG 图像、道路网络的图嵌入、被动采集的 SAR 图像等）相结合进行多模态学习，从而促进地理空间计算机视觉中的多模态学习。多模态计算机视觉对于训练地理空间特征检测的机器学习模型以保持地理空间映射服务实时更新是至关重要的，可以显著提高用户体验和用户安全。
Oct, 2023
TimeNet 是一个基于循环神经网络的深度非监督学习模型，使用序列到序列模型从多个时间序列中提取特征，可用作时间序列的通用特征提取器，并且通过实验证明，使用 TimeNet 特征提取器训练的分类器能够显著提高分类效果。
Jun, 2017
本研究基于卷积神经网络提出了一种概率预测框架，可用于多个相关时间序列的预测，并可在参数和非参数设置下估计概率密度。该方法通过堆叠残差块实现了序列的时间依赖关系，并通过表示学习捕获了季节性、假日效应等复杂模式，实验证明该框架在精度和效率方面均优于当前其他方法。
Jun, 2019
本研究提出了一种名为 TGNet 的新的需求预测模型，它集成了图网络和时间导向嵌入，能够高效提取复杂的时空模式，并在其三个实际数据集中取得了与基线模型相当的预测表现，在参数数量上却大幅节省。
May, 2019
我们介绍并详细说明了一种非典型的神经网络架构，称为时间弹性神经网络（teNN），用于多变量时间序列分类。与传统神经网络架构相比，该创新之处在于它明确地融合了时间弯曲的能力，以及一种新的注意力考虑方式。此外，该架构能够学习一种丢弃策略，从而优化其自身架构。通过实验证明，应用于 teNN 训练的随机梯度下降是非常有效的。在正确选择了一些关键的元参数的情况下，收敛通常是平稳且迅速的。通过首先减少所需的参考时间序列数量，即所需的 teNN 单元数量，我们在保持良好准确率的同时，获得了可观的可扩展性收益。其次，我们证明了 teNN 在训练过程中成功地减少了每个单元内所需的神经元数量。最后，我们展示了在训练后对激活和注意力矩阵以及参考时间序列的分析提供了解释和解释分类结果的相关信息。通过进行约 30 个多样化的多变量数据集的比较研究，我们发现 teNN 获得了与最先进技术相媲美的结果，特别是与混合 LSTM 和 CNN 架构的网络相似。
May, 2024
不规则采样的多变量时间序列是各种应用领域中普遍存在的现象，本文提出了一种名为时间参数化卷积神经网络（TPCNN）的新型神经网络架构，特别适用于处理不规则时间序列数据，我们对 TPCNN 进行了插值和分类任务的实验评估并与其他最先进方法进行了比较，结果表明 TPCNN 模型不仅具有竞争性的性能，而且比其他方法更高效。同时，该架构利用可学习的时间函数的组合，提高了网络性能和序列输入的可解释性，在该领域中首次应用卷积操作。
Aug, 2023
本文提出了一种新的视频动作识别框架 - TSN，并探究了在时间段网络的帮助下学习 ConvNet 模型的一系列良好实践策略。实验结果表明，本方法在 HMDB51（69.4%）和 UCF101（94.2%）数据集上取得了最先进的性能。我们还可视化了学习到的 ConvNet 模型，定性展示了时间段网络和所提出良好实践的有效性。
Aug, 2016
该研究探讨了使用时间序列编码器学习适用于其未经训练的数据集类型的表示，性能优越，适应性强，可用于处理标记稀疏或未标记的时间序列数据，并通过卷积神经网络和注意机制等多种方法使其性能更加优异。
May, 2018
本文提出一种学习视频帧临时嵌入的方法，以便进行复杂的视频分析，利用互联网上大量的未标记的视频数据，通过将帧与其所处的时间上下文相关联来学习视频帧的时间嵌入，并通过使用多分辨率采样和困难负样本的数据增广来显著提高所学嵌入的质量，证明嵌入可以提高多个视频任务的性能，例如在无约束的互联网视频中检索、分类和时间顺序恢复。
May, 2015
本文提出了一种新颖的设计，即 TDConvED，它在视频字幕生成中充分利用编码器和解码器网络中的卷积，具有卷积块结构，在编码器中进一步配备时间变形卷积以实现时间采样的自由形变，并利用时间关注机制进行句子生成，在 MSVD 和 MSR-VTT 视频字幕生成数据集上进行了广泛实验，在与常规基于 RNN 的编码器解码器技术进行比较时获得更好的结果。
May, 2019