NIPSJun, 2017

使用循环神经模块学习分层信息流

PDF
TL;DRThalNet 是一个深度学习模型，通过 Thalamus 受到新皮质通讯的启发，由循环神经网络模块组成，并通过路由中心发送特征，赋予模块在多个时间步骤上分享特征的灵活性。我们观察到通用架构，如前馈神经网络和跳跃连接，在我们的架构中成为特例，同时学习了新的文本压缩任务的连接模式。我们的模型在几个顺序基准测试上优于标准循环神经网络。
thalnetdeep learninghierarchical information routingrecurrent neural modulessequential benchmarks
发现论文，激发创造
  • 循环高速公路网络

    本文提出了一种基于 Gersgorin 圆定理的递归网络理论分析方法，从而引入 Recurrent Highway Networks 的新型结构以提高深度递归神经网络的研究难度并展示其在语言建模上的高效性和有效性。

    Jul, 2016

  • 分层多尺度循环神经网络

    本文提出了一种多尺度递归神经网络，称为分层多尺度递归神经网络，通过使用新的更新机制，在不使用显式边界信息的情况下捕获序列中的潜在分层结构，从而解决递归神经网络中的层次和时间表示问题，并在字符级别语言建模和手写序列建模上进行评估。

    Sep, 2016

  • 建模分层结构的重要性与循环神经网络

    比较循环神经网络和非循环神经网络对于建模层级结构的能力，发现循环神经网络在这方面的重要性。

    Mar, 2018

  • 训练非常深的网络

    本文介绍了一种名为 “HighWay Network” 的新型深度神经网络模型，采用门控单元对信息流进行监控，以实现高效的信息传递，从而克服了训练深度神经网络的问题。

    Jul, 2015

  • Thalamus: 一种脑启发的算法，用于生物合理的持续学习和分离表示

    在公开环境中，灵活学习和记忆是一个不断变化的挑战，受大脑丘脑皮质回路的启发，本文提出了一种使用推理时优化的简单算法，通过动态生成当前任务的内部表示，并使代理程序将时间经验流解析为离散事件并组织学习。该算法通过潜在更新将知识组织为具有灵活性的结构，并具有控制它们的认知接口。

    May, 2022

  • 使用带有高速公路层的循环卷积神经网络学习文本表示

    本文介绍了一种结合循环卷积神经网络（RCNN）和高速公路模块的混合模型，并将其在情感分析任务上进行了实验。实验结果表明，该模型在长文本序列任务上具有较好的表现。

    Jun, 2016

  • 循环阶梯网络

    本文提出了一种基于递归的 Ladder 神经网络扩展，以此解决层次潜在变量模型中需要的推理问题，并证明该架构能够处理包括迭代推理和时间建模在内的各种复杂学习任务，涵盖视频数据的时间建模和提高基于高阶抽象的感知聚类等问题。作者在完全监督、半监督和非监督任务方面都取得了不错的结果，这表明所提出的架构和原则是学习抽象层次结构、学习迭代推理和处理时间信息的强有力工具。

    Jul, 2017

  • 层次网络的模块化增长：高效、通用、稳健的课程学习

    通过渐进式的模块化增长，研究表明，模块化网络在记忆任务上具有更好的性能、更强的泛化能力和对某些扰动的鲁棒性，即使只有模块之间的连接被训练，结构拓扑引入的归纳偏置足够强大，使得网络在固定了模块内连接的情况下仍能表现良好，并且逐渐模块化增长的循环神经网络能够在进化时间尺度上学习越来越复杂的任务，并且有助于构建更可扩展且可压缩的人工网络。

    Jun, 2024

  • 可视化和 ' 诊断分类器 ' 揭示递归神经网络如何处理分层结构

    本文通过处理嵌套算数表达式的人工任务来研究神经网络如何学习和处理具有分层组合语义的语言，并发现递归神经网络和门控循环单元网络也可以在此任务上表现得十分出色。同时，我们提出诊断分类器的方法，可以有效地帮助我们了解神经网络的内部动态，这种方法可扩展至真实数据的更复杂和更深层的循环神经网络，有望推动当前最先进的自然语言处理模型的内部机理的更深入理解。

    Nov, 2017

  • 层级多尺度神经网络中的连续学习

    本研究提出了一个层次化的多尺度语言模型，通过在线元学习方式，使用一个上层模型更新低层模型的权重来编码短时间尺度和长时间尺度的依赖关系，并使用弹性权重一致性作为高层次来防止灾难性遗忘。

    May, 2018