Apr, 2024

重新思考循环神经网络与非循环神经网络的关系：稀疏性研究

PDF
TL;DR神经网络可以划分为两种广义类别，递归和非递归。本文认为这两种神经网络类型之间存在比通常意识到的更为密切的关系，并阐述了其中的迭代映射关系。这种关系不仅限于理论上的 Turing 完全性，更涉及神经网络的训练和实践等方面的深入洞察。
发现论文，激发创造
  • 循环神经网络的最近进展

    本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明，介绍了针对学习长期依赖问题的新进展，适合该领域的新手和专业人士。

    Dec, 2017

  • 建模分层结构的重要性与循环神经网络

    比较循环神经网络和非循环神经网络对于建模层级结构的能力，发现循环神经网络在这方面的重要性。

    Mar, 2018

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 激光诱导击穿光谱中循环神经网络和经典机器学习方法的比较

    使用不同的递归神经网络 (RNN) 架构，基于激光诱导加热光谱 (LIBS) 技术对铝合金进行定量分析，并将其与支持向量回归器 (SVR)、多层感知器 (MLP)、决策树 (DT)、梯度增强回归 (GBR)、随机森林回归 (RFR)、线性回归和最近邻 (KNN) 算法进行比较。结果表明，基于卷积递归网络的机器学习工具在大部分元素预测方面的效果最好。

    Apr, 2023

  • 循环神经网络和长短时记忆网络：教程和调研

    本研究论文介绍了递归神经网络 (RNN)、 长短期记忆网络 (LSTM) 及其变体，在训练过程中解决长序列中的梯度消失 / 爆炸问题，并详细介绍了 LSTM 中的门控单元，双向 RNN 及 Embeddings from Language Model (ELMo) network 的原理。

    Apr, 2023

  • 递归和深度的惊人相似性

    本文研究了深度神经网络的层次结构特征，发现递归神经网络与前馈网络在提取特征和处理深层次信息方面表现出类似的表现和性能优越，且递归模型能够模拟前馈模型的行为并使用更少的参数来实现图像分类和迷宫问题的求解。

    Feb, 2021

  • 卷积神经网络和循环神经网络在自然语言处理中的比较研究

    本文章首次系统地比较了卷积神经网络与循环神经网络在多个自然语言处理任务上的表现，为深度学习网络的选择提供了基本指导。

    Feb, 2017

  • 准循环神经网络

    本文介绍了一种新型的神经序列建模方法 - 准循环神经网络（QRNNs），通过卷积层与最小化的循环池化函数的交替使用，QRNNs 可以在高度并行的情况下完成对序列数据的建模，并且在语言建模、情感分类和字符级神经机器翻译等任务中显示出比基于 LSTM 的架构更优异的性能。

    Nov, 2016

  • 适用于循环神经网络的广义张量模型

    本文研究了使用不同非线性激活函数的循环神经网络（RNNs）的理论效率，表明它们也具有普适性和深度效率的特性，并通过计算实验证实了这一理论结果。

    Jan, 2019

  • 循环神经网络网络

    描述了一种基于系统理论的神经网络类别 ——“递归神经网络网络”（NOR），用于构建高层神经元，实现了优于 RNN、GRU 和 LSTM 的实验结果。

    Oct, 2017