ICMLJun, 2018

循环神经网络的动态同态性和均场理论：门控在信号传播中扮演重要角色

PDF
TL;DR本文通过 mean field 理论和随机矩阵理论的结合，解析了 recurrent neural networks 中 gating 机制的信号传播机理，并通过最小化的多层感知器网络 (minimalRNN) 与 RNN 的对比，研究了它们的训练性能。提出了初始方案的动态等角分解，并通过语言建模任务，证明了最小 RNN 可以与 LSTM 或 GRU 等复杂网络相媲美。
recurrent neural networksgating mechanismtrainabilitydynamical isometrylanguage modeling
发现论文，激发创造
  • LSTM 和 GRU 的动态同构和平均场理论

    本研究使用平均场理论探究了 LSTMs 和 GRUs 中的信号传播，通过优化初始化超参数，开发出了一种新的初始化方案，解决了训练不稳定性问题，从而在多个序列任务上实现了成功的训练，并且在泛化能力上也有积极的影响。

    Jan, 2019

  • 循环神经网络是否能够扭曲时间？

    本文研究证明可学习门控在循环神经网络中提供输入数据的时间转换几乎不变性的功能，从而为长期依赖性和参数初始化提供了新的可能性。

    Mar, 2018

  • ReLU 和加法门控递归神经网络

    通过替换传统的循环门中的乘法和 Sigmoid 函数为加法和 ReLU 激活函数，该研究提出了一种可以在更低计算成本下维持长期记忆用于序列处理的机制，从而在受限制硬件上实现更高效的执行或更大模型。此机制能够在保持较高的计算效率的同时，捕捉到序列数据的长期依赖关系，并且在 CPU 上减少了一半的执行时间，在加密环境下减少了三分之一的执行时间，实验结果表明该机制与传统的 GRU 和 LSTM 基准模型相比，能够实现可比较的准确性。同时，该机制还能避免加密变量的乘法操作，从而支持具有保护隐私的同态加密人工智能应用，并能在（非加密）明文应用中支持量化操作，潜在地带来显著的性能提升。

    Aug, 2023

  • 改进循环神经网络的门控机制

    通过引入两个改进标准门控机制的修改，解决了门控机制在饱和状态下学习梯度的问题，在模拟记忆任务、序列图像分类、语言建模和强化学习等应用中有效提高了循环模型的性能。

    Oct, 2019

  • 一种无混沌的循环神经网络

    本文介绍了一种非常简单的门控循环神经网络，其在基于单词的语言建模任务上实现了与 LSTM 和 GRU 等著名门控架构相媲美的性能且证明了该模型具有简单、可预测和非混沌的动力学，这与传统的门控架构形成了鲜明对比。

    Dec, 2016

  • CNN 的动态同构性及均场理论：如何训练一万层 Vanilla 卷积神经网络

    本研究展示了使用适当的初始化方案可以简单地训练具有一万层或更多层的普通卷积神经网络，并演示了这些随机正交卷积核的生成算法以及它们实现极深网络的高效训练能力。

    Jun, 2018

  • 门控图循环神经网络

    本文介绍了图递归神经网络 (GRNNs) 作为一种利用递归隐藏状态与图信号处理 (GSP) 相结合的学习框架，以学习来自于图处理中的时空结构。结果表明，GRNNs 在长期依赖问题上的表现优于 GNNs 和 RNNs。

    Feb, 2020

  • 通过 p - 范数门加速训练非常深的神经网络

    本文提出一种 $p$-norm 控制流方案，通过控制数据流提高 LSTM、Residual Nets 等深度神经网络的学习速度。实验证明，在不增加额外操作的情况下，该方案显著加速了学习。

    Aug, 2016

  • 通用随机神经网络的动力学均场理论介绍

    介绍了一种名为 DMFT 的物理工具，并使用通用随机神经网络作为例子，展示了 DMFT 的本质和基础物理。同时，同时讨论了相应的变体方法，比如动态空腔方法，并且详细介绍了求解 DMFT 方程的数值实现以及相关的应用和研究。

    May, 2023

  • MinimalRNN: 更易于解释和训练的循环神经网络

    通过采用极简的更新规则，MinimalRNN 在学习和测试上不仅高效，而且更易解释和训练。最后，通过考察输入输出的 Jacobi 矩阵，发现 MinimalRNN 能够捕捉比现有 RNN 结构更长程的依赖关系。

    Nov, 2017