本文提出了一种基于外部内存机制及元学习的可快速调整及变更参数的深度神经网络,该模型不仅适用于监督性问题,还能在强化学习等多种学习问题中取得较好的表现。
Jul, 2019
本文介绍了神经图灵机的概念及其与外部存储器资源的耦合,通过注意力过程交互,与图灵机或冯・诺伊曼体系结构相似,但可在端到端上进行微分,从而使其能够通过梯度下降进行高效训练。初步结果表明神经图灵机能够从输入和输出示例中推断出简单算法,如复制,排序和关联回忆。
Oct, 2014
本研究证明了增强记忆功能的神经网络具有快速吸纳新数据和利用数据进行准确预测的能力,并介绍了一种基于内容而不是基于位置的外部记忆访问方法。
May, 2016
本文介绍了一个基于无权重脉冲神经网络的原型,可以通过使用 Spike Timing Dependent Plasticity (STDP) 在神经元之间的时间上进行训练,而非传统的神经连接强度,以进行简单的分类任务。
Feb, 2022
本研究通过提出多种不同 memory 的 Neural Turing Machines (NTM) 来改进传统线性存储的 NTM 的缺陷,实验证明新的结构有助于提高模型收敛速度和预测精度。
Oct, 2015
本文提出了一种基于内部工作记忆模块的决策制定代理,可以通过存储、混合和检索信息来改善其在不同下游任务中的训练效率和泛化能力,并进一步证明记忆微调可以增强所提出架构的适应性。
May, 2023
本研究提出了一种新颖的神经程序模型(Neural Programmer),该模型扩展了具有少量基本算术和逻辑运算的不可区分神经网络,此模型可以在多个步骤中调用这些扩展操作,因此产生的组成程序比内置操作更复杂。该模型采用相对较弱的监督信号进行训练,不需要昂贵的编写正确程序的注释,经过训练在很复杂的综合表理解数据集中取得了几乎完美的准确度。
Nov, 2015
本论文研究了使用外部存储器的记忆增强神经网络,提出了一种更优的存储方案,得到了对多种序列建模任务的最优解。
Jan, 2019
我们展示了通过增加外部记忆来增强变压器型大语言模型以实现计算机普适性的方法。在不修改语言模型权重的情况下,我们将迭代设计被存储的指令计算机以精确模拟通用图灵机 U 15,2,从而证明了这一方法的可行性。
Jan, 2023
该研究旨在开发一种新型的计算机架构,将内存增强神经网络(MANN)与计算存储器单元相结合,以实现在高维向量上的模拟内存计算,并使用基于内容的注意机制来处理此计算存储器单元上的数据,并在 Omniglot 数据集上展示出良好的性能来完成少样本图像分类任务。
Oct, 2020