Feb, 2021

递归和深度的惊人相似性

PDF
TL;DR本文研究了深度神经网络的层次结构特征，发现递归神经网络与前馈网络在提取特征和处理深层次信息方面表现出类似的表现和性能优越，且递归模型能够模拟前馈模型的行为并使用更少的参数来实现图像分类和迷宫问题的求解。
deep neural networkslayer specializationrecurrent networkshierarchical behaviorsimage classification
发现论文，激发创造
  • 建模分层结构的重要性与循环神经网络

    比较循环神经网络和非循环神经网络对于建模层级结构的能力，发现循环神经网络在这方面的重要性。

    Mar, 2018

  • 能否学习算法？使用循环网络从易到难问题进行泛化

    本文讨论了深度神经网络在视觉模式识别方面的强大能力，但在推理任务中仍然表现不足，引入了使用循环神经网络解决问题的算法，并通过前缀和计算，迷宫和棋类游戏等问题进行了实验研究。

    Jun, 2021

  • 神经网络中的深度学习概述

    这篇文章总结了深度神经网络在模式识别和机器学习中的应用，包括深度监督学习、无监督学习和强化学习，在搜索深层网络的过程中进行了间接搜索。

    Apr, 2014

  • FractalNet：不含残差连接的超深度神经网络

    本文提出一种基于自相似性的神经网络宏架构设计策略，生成结构准确的被截断的分形的深度网络，并与标准残差网络在 CIFAR 和 ImageNet 分类任务上表现相当好，实验证明残差表示可能不是极深度卷积神经网络成功的基础，而是在训练中能够从有效浅层转变到深层，同时开发的 Drop-path 方法能够规范提取高性能固定深度的子网络。

    May, 2016

  • 重新思考循环神经网络与非循环神经网络的关系：稀疏性研究

    神经网络可以划分为两种广义类别，递归和非递归。本文认为这两种神经网络类型之间存在比通常意识到的更为密切的关系，并阐述了其中的迭代映射关系。这种关系不仅限于理论上的 Turing 完全性，更涉及神经网络的训练和实践等方面的深入洞察。

    Apr, 2024

  • 关于深度循环网络的长期记忆

    本文通过引入一种称为 “起始 - 终止分离等级” 的度量方式，证明了深度循环网络相较于其浅层对应版本在建模长时依赖方面具有压倒性的优势，并通过量子张量网络的工具获取了更多的图形洞见。

    Oct, 2017

  • 深度网络在不变物体识别中类似于人类前馈视觉

    研究了深度卷积神经网络在视角变化下物体识别任务中的表现，发现在视角变化较小时，浅层网络可以优于深层网络和人类表现。但是，当面临较大的视角变化时，需要更深的层次来匹配人类表现。最深的 18 层卷积神经网络在最高变化水平下优于人类表现，使用了最类人的表征。

    Aug, 2015

  • 再次让深度网络变得浅显

    通过研究深度神经网络中的残差连接，提出了一种平行浅层架构的替代方案，通过在 Taylor 级数表达式中截断高阶项，发现广而浅的网络架构在性能上与传统的深层架构相当，这一发现有望简化网络架构、提高优化效率并加速训练过程。

    Sep, 2023

  • 深度网络是否真的需要很深？

    该研究表明，浅层前馈神经网络可以学习先前由深层网络学习的复杂函数，并且可以达到仅用深度模型可以实现的准确度，在 TIMIT 语音识别任务中，没有经过复杂设计的浅层神经网络能够表现类似于深度卷积网络，并且成功地训练浅层神经网络模仿更深层次模型的方法表明，可能存在比当前更好的训练浅层前馈网络的算法。

    Dec, 2013

  • 构建深度循环神经网络的方法

    本文探讨了将递归神经网络扩展为深层递归神经网络的不同方法，通过分析其结构，提出了两种新的深层递归神经网络结构，并使用基于神经运算符的新框架进行了实验证明了这些深层递归神经网络在多声部音乐预测和语言建模方面的优越性。

    Dec, 2013