本文提出了一种基于外部内存机制及元学习的可快速调整及变更参数的深度神经网络,该模型不仅适用于监督性问题,还能在强化学习等多种学习问题中取得较好的表现。
Jul, 2019
本文提出了一种基于最近邻算法的大规模生命周期记忆模块,该模块具有端到端的训练能力,适用于深度学习中的任何部分,可在一次学习中持续不断训练,且表现出强大的记忆力和一次学习能力,从而在多个领域实现新的性能提升,包括在 Omniglot 数据集上的一次学习状态下表现出的新状态以及在大规模机器翻译任务中,实现了循环神经网络的文件一次学习。
Mar, 2017
本研究使用深度神经网络和度量学习的思想,建立了一种学习新概念的框架,从而不需要微调以适应新的类别类型,并在视觉和语言任务中定义了一次性学习问题,实验结果表明,在 Imagenet 数据集上,准确率从 87.6% 提高到 93.2%,在 Omniglot 数据集上,准确率从 88.0% 提高到 93.8%。
Jun, 2016
该研究旨在开发一种新型的计算机架构,将内存增强神经网络(MANN)与计算存储器单元相结合,以实现在高维向量上的模拟内存计算,并使用基于内容的注意机制来处理此计算存储器单元上的数据,并在 Omniglot 数据集上展示出良好的性能来完成少样本图像分类任务。
Oct, 2020
本文介绍了神经图灵机的概念及其与外部存储器资源的耦合,通过注意力过程交互,与图灵机或冯・诺伊曼体系结构相似,但可在端到端上进行微分,从而使其能够通过梯度下降进行高效训练。初步结果表明神经图灵机能够从输入和输出示例中推断出简单算法,如复制,排序和关联回忆。
Oct, 2014
本文提出了一种名为 “TARDIS” 的新型记忆增强神经网络模型,利用记忆构建起到过去的虫洞连接,有效地缓解了梯度消失问题,提高了学习效率,并在不同的长期依赖任务中获得了竞争性结果。
Jan, 2017
本篇文章提出了一种新的方法来缓解训练神经网络时非稳态带来的行为遗忘现象,利用模型内部的内隐记忆来进行实时样本生成,并侧重于优化实际的训练数据批次,从而高效和可扩展的进行训练。作者探讨了该方法与大脑模型的对应之处,并发现这种方法的高效特性是自然而然地产生的。
Jun, 2020
本文提出了 Memory Matching Networks(MM-Net)的新想法,即在卷积神经网络中加入记忆元素,并学习动态地适应无标签图像的参数,从而实现一次学习。文章探讨了不同的训练数据集的匹配方法,并得出了超越同类算法的实验结果。
Apr, 2018
本文介绍了一种用于解决长期依赖的神经网络结构 —— 循环神经网络,并通过对语言建模等实验得出其同 LSTM 网络有着类似的性能表现。
Dec, 2014
本研究提出了两种深度神经网络结构, 加入外部记忆共享于多个任务中训练,实验表明该结构帮助相关任务,提高文本分类任务效果。
Sep, 2016