本研究证明了增强记忆功能的神经网络具有快速吸纳新数据和利用数据进行准确预测的能力,并介绍了一种基于内容而不是基于位置的外部记忆访问方法。
May, 2016
本文提出一种新型的神经存储程序内存,用于在神经控制器中存储权重,类似于现代计算机体系结构中的存储程序内存,从而增强了当前存储扩展神经网络,创建了可微分机器,可以通过时间切换程序,适应可变上下文,类似通用图灵机,可用于经典算法问题,组合、持续、少样本学习和问答任务。
May, 2019
本文介绍了一种新的学习模型 - 记忆网络,利用推理组件和长期记忆组件共同学习。这些模型可以用于问答型任务中,长期记忆作为动态知识库,输出为文本响应。在评估中表明记忆网络模型在问答中具有强大的推理能力。
Oct, 2014
利用 LSTM 神经网络实现元学习,并能将其与手工设计的算法进行对比,在实验中,我们学习了针对非线性可分数据集的一个具有两个隐藏层的 MLP 的学习算法,并且该算法能够成功地更新两个隐藏层的参数并且在类似的数据集上具有泛化性能。
Oct, 2016
本文提出了一种基于内部工作记忆模块的决策制定代理,可以通过存储、混合和检索信息来改善其在不同下游任务中的训练效率和泛化能力,并进一步证明记忆微调可以增强所提出架构的适应性。
May, 2023
本文介绍了一种具有循环注意力模型的神经网络,该模型可以扩展到可能很大的外部存储器,并被应用于各种任务,如(合成)问答和语言建模。同时,本文展示了多个计算步骤(跳数)的关键概念可以提高性能表现。
Mar, 2015
提出了一个受海马体和前额叶皮质启发的生物学上可行的元学习模型,其使用尖峰神经网络和基于奖励的学习系统来实现在低数据条件下的快速学习并避免了灾难性遗忘,并且可以轻松地应用于脉冲神经形态学设备和在 few-shot 分类任务中展示了其与现有技术的竞争力。
Jun, 2023
该研究旨在开发一种新型的计算机架构,将内存增强神经网络(MANN)与计算存储器单元相结合,以实现在高维向量上的模拟内存计算,并使用基于内容的注意机制来处理此计算存储器单元上的数据,并在 Omniglot 数据集上展示出良好的性能来完成少样本图像分类任务。
Oct, 2020
本篇文章提出了一种新的方法来缓解训练神经网络时非稳态带来的行为遗忘现象,利用模型内部的内隐记忆来进行实时样本生成,并侧重于优化实际的训练数据批次,从而高效和可扩展的进行训练。作者探讨了该方法与大脑模型的对应之处,并发现这种方法的高效特性是自然而然地产生的。
Jun, 2020
本文提出了一个新的生命周期学习的方法,命名为记忆感知突触 (Memory Aware Synapses),它计算神经网络参数的重要性,并根据重要性进行惩罚以防止重要知识被覆盖,这与大脑学习过程的 Hebb 规则有相关性。在物体识别任务和嵌入学习任务中,该方法表现出最先进的性能。
Nov, 2017