Oct, 2018

通过本地对齐分布式表示进行循环神经网络的持续学习

PDF
TL;DR本文提出了一种基于局部表示对齐算法训练的并行时间神经编码网络 (P-TNCN)，用以解决通过时间反向传播所存在的困难和问题，比如序列建模基准测试中表现优异，具有零 - shot 适应能力和在线连续序列建模的能力。
recurrent neural networksparallelizationcredit assignmentlocal representation alignmentzero-shot adaptation
发现论文，激发创造
  • 基于并行时空注意力的 TCN 模型用于多元时间序列预测

    该论文介绍了一种新的框架 PSTA-TCN，该框架将并行时空关注机制与轴承温网络相结合，从而达到了更长的记忆，并且使用并行计算大大缩短了训练时间，可以更好地用于多元时间序列预测任务。

    Mar, 2022

  • 基于生物学启发的循环神经网络学习的反向传播时序算法替代方案

    通过实时与合适的自上而下学习信号合并本地可用信息，为循环神经网络提供了高效的学习算法，其中包括了神经形态芯片的在线训练，从而拓宽了大脑中的网络学习理解并在实验中得到了验证。

    Jan, 2019

  • 无监督时间序列表示学习与时空邻域编码

    本文提出了一种自监督学习框架 (Temporal Neighborhood Coding)，用于学习非平稳时间序列的可泛化表示，通过利用信号生成过程的局部平滑性定义时间上具有稳定性的邻域，使用无偏差对比目标，通过确保在编码空间中，邻域内的信号分布可与非邻域内的信号分布区分来学习时间序列表示，并在分类和聚类任务上表现出卓越的性能。

    Jun, 2021

  • 具有局部循环处理的深度预测编码网络用于对象识别

    这篇论文介绍了一种新的基于神经科学理论 “预测编码” 的神经网络，该网络包含反馈和前馈连接，能够让相邻层次间逐渐优化表征以最小化预测误差，并在图像分类和对象识别等任务上获得了具有竞争力的性能。

    May, 2018

  • 基于时间卷积关注的序列模型网络

    我们提出了一种基于时间卷积网络和注意力机制的探索性架构称为 TCAN，它不仅能够实现递归网络的近似替代，还可以吸收前向模型的优势，提高了 word-level PTB、character-level PTB 和 WikiText-2 等文本数据集的 bpc/perplexity 表现.

    Feb, 2020

  • 学习具有时间感知行为的循环神经网络动态

    本文利用定时自动机来介绍一系列监督学习任务，建立在隐藏时间变量和复杂性直接可控的行为模型基础上，通过研究倒置的时间特征，证明基于动态系统理论的工具可以不仅提供模型学习方案的见解而且能够证明训练过程的动力学。

    Jun, 2023

  • 准循环神经网络

    本文介绍了一种新型的神经序列建模方法 - 准循环神经网络（QRNNs），通过卷积层与最小化的循环池化函数的交替使用，QRNNs 可以在高度并行的情况下完成对序列数据的建模，并且在语言建模、情感分类和字符级神经机器翻译等任务中显示出比基于 LSTM 的架构更优异的性能。

    Nov, 2016

  • 通过非局部循环神经记忆学习序列表示

    本文提出了一种名为 NRNM 的非局部循环神经记忆网络，通过自注意机制实现非局部操作，以学习滑动时间记忆块内的全序交互，并以门控的循环方式模拟内存块之间的全局交互来解决序列表示学习中长期依赖建模难题，实验结果表明 NRNM 对于不同类型序列任务的泛化性和有效性优于其他最先进的方法。

    Jul, 2022

  • STCN：随机时态卷积网络

    本文提出了一种新的 STCN 体系结构，其将时间卷积网络（TCN）的计算优势与具有不同时间尺度的时间依赖性的随机潜在空间的表示能力和鲁棒性相结合，提高了多个任务的对数似然度，并且在手写文本建模中能够预测长时间跨度内的高质量合成样本。

    Feb, 2019

  • 脉冲神经网络的时间对比学习

    本研究提出了一种时域监督对比学习的方法，可以使神经网络在处理时间序列信息时具备低延迟和高性能，取得了 CIFAR-10、CIFAR-100 和 DVS-CIFAR10 等数据集的最新性能水平。

    May, 2023