May, 2024
时间弹性神经网络
Time Elastic Neural Networks
TL;DR我们介绍并详细说明了一种非典型的神经网络架构，称为时间弹性神经网络（teNN），用于多变量时间序列分类。与传统神经网络架构相比，该创新之处在于它明确地融合了时间弯曲的能力，以及一种新的注意力考虑方式。此外，该架构能够学习一种丢弃策略，从而优化其自身架构。通过实验证明，应用于teNN训练的随机梯度下降是非常有效的。在正确选择了一些关键的元参数的情况下，收敛通常是平稳且迅速的。通过首先减少所需的参考时间序列数量，即所需的teNN单元数量，我们在保持良好准确率的同时，获得了可观的可扩展性收益。其次，我们证明了teNN在训练过程中成功地减少了每个单元内所需的神经元数量。最后，我们展示了在训练后对激活和注意力矩阵以及参考时间序列的分析提供了解释和解释分类结果的相关信息。通过进行约30个多样化的多变量数据集的比较研究，我们发现teNN获得了与最先进技术相媲美的结果，特别是与混合LSTM和CNN架构的网络相似。