Jul, 2013

局部等距性质在网络中的短期记忆容量

PDF
TL;DR研究了随机连接的线性网络对于执行近似稀疏输入信号的短期记忆（STM）的容量，利用了压缩感知结果提供了严格的非渐近恢复保证，量化了输入稀疏级别、输入稀疏基、网络特性对系统容量的影响，证明网络内存容量可以与节点数量超线性地扩展，并且在某些情况下可以实现远大于网络大小的 STM 容量。
发现论文，激发创造
  • 正交神经网络中的短期记忆

    研究线性循环网络在遵守离散时间动力学的情况下，存储可从网络瞬时状态中检索的长时间序列的能力。 计算分布式移位寄存器和随机正交连接矩阵的时间记忆容量。 随着系统规模的增大，这些网络的记忆容量呈比例关系。

    Feb, 2004

  • 递归神经网络中的序列索引和工作记忆理论

    本文提出了一类用于索引和存储符号序列或模拟数据向量的递归神经网络，利用储池计算的性质，采用随机输入权重和正交递归权重实现之前在向量符号体系结构（VSA）中描述的编码原理，并提出了优化语音缓存网络，使其能够在处理数据流时在线工作的新型 VSA 模型的设计。

    Feb, 2018

  • 循环神经网络的记忆：我们计算得正确吗？

    探讨了循环神经网络的记忆容量问题，对于线性回声状态网络，提出了通过利用记忆容量对输入掩码矩阵具有中性的结果，利用鲁棒的数值方法解决了记忆的不准确性。

    May, 2023

  • 联想长短时记忆

    通过基于复值向量的关联记忆，不增加网络参数的情况下增强循环神经网络的新方法，与全息缩减表示和长短时记忆网络密切相关。与全息缩减表示不同的是，该系统创建存储信息的冗余副本，从而实现了减少噪声的检索。实验证明在多个记忆任务上的学习更快。

    Feb, 2016

  • 大脑皮层微电路作为门控递归神经网络

    通过 gated-memory 神经网络中的 subLSTMs 单元，作者提出了一种在 known canonical 激活 - 抑制皮质微电路上的自然映射 ，通过在图像分类和语言建模任务中的实证评估，作者证明了 subLSTM 单元可获得类似于 LSTM 单元的性能，因此推断皮层电路可以被优化以解决复杂的背景问题，并提出了一个新颖的计算机功能视角。

    Nov, 2017

  • 从贝叶斯稀疏到门控循环神经网络

    本文指出，关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构，从而导致了一种新的稀疏估计系统，当授予训练数据时，可以在其他算法失败的方案中高效地估计最优解，包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。

    Jun, 2017

  • 内存中的内存：预测性神经网络用于学习时空动态的高阶非静止性

    本文中，我们提出了用于处理具有高阶非平稳性的空时动态领域的 Memory In Memory（MIM）网络及其循环块，并在合成和实际数据集上的四个时空预测任务中取得了最先进的结果。

    Nov, 2018

  • 循环尖峰神经网络中的时空动态和可靠计算

    本研究发现通过距离依赖性连接概率，可以克服兴奋性和抑制性尖峰神经元随机连接网络在进行计算时的不可靠性。在此基础上建立的空间扩展尖峰神经元网络可以展现出对称性破缺分岔现象，并能生成可进行动力学计算的时空模式。

    Nov, 2016

  • 深度网络中的最大稀疏性？

    论文研究了稀疏估计算法、神经网络层和深度网络学习在估计准确性方面的应用，展示了深度网络学习可以在稀疏字典具有连贯列时恢复最小 L0 范数表示的潜力，并应用于三维场景表面法线的实际测量问题中。

    May, 2016

  • 稀疏持续 RNN：在芯片上压缩大规模循环神经网络

    通过模型修剪和 GPU 优化，我们为稀疏 RNN 设计了一种高效的实现，包括 Lamport 时间戳、宽存储器负载和银行感知权重布局等优化措施，使得在隐藏层大小为 2304，批处理大小为 4，密度为 30% 时，我们的技术可实现超过 6 倍的加速效果，进一步，我们的技术使得大于 5 倍的模型大小可以适应于 GPU 以达到 2 倍的加速效果，最后我们在附录中进行了机器翻译和语音识别任务的案例研究，将循环层加速了最多 3 倍。

    Apr, 2018