Nov, 2015

神经 GPU 学习算法

PDF
TL;DR本研究提出一种神经网络结构 —— 神经 GPU 来解决 Neural Turing Machine 中存在的训练难题，实现了对于尺寸不确定的输入进行算法训练，并能成功地推广到更长的算法实例中。通过参数共享放松、少量的 dropout 和渐变噪声的技术应用，神经 GPU 在训练和泛化方面收到了显著的正面效应。
neural networkneural turing machinesneural gpudeep recurrent networksgeneralization
发现论文，激发创造
  • 改进基于神经网络 GPU 的算法学习架构

    介绍一种提高训练效率和泛化能力的神经 GPU 算法，该算法利用新的技术和对活动存储结构的对角门技术来学习十进制乘法。

    Feb, 2017

  • 神经 GPU 的扩展和限制

    本文介绍了两种方式来改进神经 GPU 模型，包括设计课程和增加模型大小，在 10 进制表示下解决所有算术操作并学习执行多操作数算术表达式，同时调查其故障模式与对手示例相似。

    Nov, 2016

  • 现代神经网络结构的图灵完备性

    本文讲述了研究者探讨替代循环神经网络的新架构（如基于注意力或卷积的架构）的计算能力，通过研究 Transformer 和 Neural GPU 的计算能力，发现这两种模型都可以纯粹依靠计算和访问数据的内部密集表示而成为图灵完备的，而不需要外部存储器。

    Jan, 2019

  • 神经图灵机

    本文介绍了神经图灵机的概念及其与外部存储器资源的耦合，通过注意力过程交互，与图灵机或冯・诺伊曼体系结构相似，但可在端到端上进行微分，从而使其能够通过梯度下降进行高效训练。初步结果表明神经图灵机能够从输入和输出示例中推断出简单算法，如复制，排序和关联回忆。

    Oct, 2014

  • 对序列长度进行非线性顺序模型的并行化

    通过并行算法提高 GPU 评估顺序模型的速度，解决传统顺序模型训练速度缓慢的问题，加快训练速度同时保持输出准确性，使得非线性顺序模型在长序列问题中具备潜力。

    Sep, 2023

  • 能否学习算法？使用循环网络从易到难问题进行泛化

    本文讨论了深度神经网络在视觉模式识别方面的强大能力，但在推理任务中仍然表现不足，引入了使用循环神经网络解决问题的算法，并通过前缀和计算，迷宫和棋类游戏等问题进行了实验研究。

    Jun, 2021

  • 图形算法的神经执行

    通过在算法空间中训练 Graph Neural Networks 来解决基于图结构的问题，使用基于最大化的信息传递神经网络来实现离散决策，同时实现了任务迁移并提升学习效果。

    Oct, 2019

  • GPU 异步随机梯度下降加速神经网络训练

    本文介绍了一种新的系统 ——GPU A-SGD，它同时利用了模型并行和数据并行的方法，加快了卷积神经网络的训练速度，从而可以使大型网络在较短时间内训练大型数据集。

    Dec, 2013

  • 在 GPU 上优化循环神经网络的性能

    通过在网络中暴露操作之间的并行性，我们实现了对于各种网络规模的 10 倍加速优化，这种优化的实现被整合到了 NVIDIA 的 cuDNN 的第五个版本中。

    Apr, 2016

  • 神经算法推理

    通过构建神经网络来执行算法计算的神经算法推理有可能将经典算法运用于以前被视为不可达的输入，从而有了转化性的潜力。

    May, 2021