Oct, 2023

全局工作空间基元的收缩属性

PDF
TL;DR我们通过扩展 Kozachkov 等人在《RNNs of RNNs: Recursive Construction of Stable Assemblies of Recurrent Neural Networks》中引入的 RNNs of RNNs 的稳定性证明，为该体系结构的显著特殊情况，尤其是全局工作空间模块化结构，提供了理论上和实证上的支持；通过探索不同子网络模块之间的连接稀疏性结构，我们改进了基准序列处理任务上稳定 RNNs 的性能，强调了专门的图结构对于多区域 RNNs 的一般实用性。
multi-area recurrent neural networksrnns of rnnsglobal workspace modular structuresparse combo netsspecialized graph structures
发现论文，激发创造
  • 神经模块通过共享的全局工作空间协调

    研究探讨了在深度学习中引入全局工作空间架构的方法，借鉴认知科学中的观点，为不同的专家模块建立共享的通信渠道，并探讨了通信带宽限制的合理性和作用。

    Mar, 2021

  • 修剪的循环神经网络层中的图扩展保留性能

    神经网络的稀疏性和强连通性是扩展属性，对于在资源受限平台上使用递归神经网络进行实时序列学习任务来说，剪枝是必要的。本研究探讨了保持递归网络的大型谱间隙和层级扩展属性的方法，以及关于它们双分层图特性的时间展开递归网络图研究。通过 MNIST、CIFAR-10 和 Google 语音指令数据的实验结果表明，扩展图特性对于保留递归神经网络和长短期记忆网络的分类准确性至关重要。

    Mar, 2024

  • 稀疏持续 RNN：在芯片上压缩大规模循环神经网络

    通过模型修剪和 GPU 优化，我们为稀疏 RNN 设计了一种高效的实现，包括 Lamport 时间戳、宽存储器负载和银行感知权重布局等优化措施，使得在隐藏层大小为 2304，批处理大小为 4，密度为 30% 时，我们的技术可实现超过 6 倍的加速效果，进一步，我们的技术使得大于 5 倍的模型大小可以适应于 GPU 以达到 2 倍的加速效果，最后我们在附录中进行了机器翻译和语音识别任务的案例研究，将循环层加速了最多 3 倍。

    Apr, 2018

  • 神经动态的低张量秩学习

    通过大规模神经记录，我们研究了学习过程中权重矩阵形成的 3-Tensor 的秩，并发现推断得到的权重具有较低的张量秩，并且通过数学结果证明了较低的张量秩权重在训练低维任务的 RNN 中自然地产生。

    Aug, 2023

  • 通过预训练稳定 RNN 梯度

    通过本研究，我们证明预训练网络以实现本地稳定性在复杂结构的网络中是有效的，并提出了一种称为本地稳定条件（LSC）的理论，它能最小化对数据和参数分布的假设。我们的实验结果表明，通过预训练满足 LSC 的前馈和递归网络通常能够提高最终性能。这项研究为实现任意复杂度的网络的稳定性提供了一种方法，该方法可以在大型增强数据集的预训练之前作为附加步骤，也可以作为在分析上找到稳定的初始状态的替代方法。

    Aug, 2023

  • 图神经网络的稳定性属性

    研究了拓扑结构变化对图神经网络输出的影响，证明了使用积分 Lipschitz 过滤器的图卷积与相应非线性混合效应的组合可以实现稳定性和高频信息的判别力，解释了 GNNs 卓越性能的原因。

    May, 2019

  • 关于深度神经网络中稳定秩的影响

    本研究探讨了深度神经网络模型稳定秩的空间，分析了前向动力学、初始化、训练和表达性等方面，并通过实证分析表明，仅稳定秩初始化即可加速收敛速度。

    Oct, 2021

  • 图神经网络中稳定性与表示能力之间的权衡

    验证了在图神经网络中引入拓扑扰动的稳定性，针对不同结构的 EdgeNet 框架证明其稳定性，以及参数空间的自由度与代表能力之间的关系和边缘网络参数矩阵与图移动算子的特征向量错配程度对稳定性的影响。

    Dec, 2023

  • 稳定的循环模型

    本文针对循环神经网络的稳定性进行了深入探究，理论上证明在推断和通过梯度下降进行训练时，稳定循环神经网络可以很好地被前馈网络近似。实验上，我们展示了基准序列任务中稳定循环模型通常能够和不稳定的对应物一样好地发挥作用。这些发现揭示了循环网络的有效力量，并暗示序列学习的大部分发生在稳定的状态下。此外，我们的结果有助于解释为什么在许多情况下，实践者成功地通过前馈模型取代循环模型。

    May, 2018

  • 大规模循环网络中神经动力学的普遍性和个体差异

    通过研究数千个基于神经科学的任务训练的网络，我们发现基于表示几何的相似度测量在不同网络结构中可能高度敏感，并且无论架构如何，神经动力学的计算骨架通常表现出普遍性。

    Jul, 2019