记忆增强神经网络综述：认知洞见与人工智能应用

Dec, 2023

记忆增强神经网络综述：认知洞见与人工智能应用

Survey on Memory-Augmented Neural Networks: Cognitive Insights to AI Applications

Savya Khosla, Zhen Zhu, Yifie He

TL;DR该论文探讨了记忆增强神经网络（MANNs），研究它们如何将类人记忆过程融入人工智能中，涵盖了感知记忆、短期记忆和长期记忆等不同类型的记忆，并将心理理论与人工智能应用联系起来。研究调查了包括霍普菲尔德网络、神经图灵机、相关矩阵记忆、记忆形态神经网络和神经注意力记忆在内的先进架构，解释了它们的工作原理和优势所在。深入探讨了 MANNs 在自然语言处理、计算机视觉、多模态学习和检索模型等现实世界应用中的使用情况，展示了记忆增强器如何提高人工智能任务的准确性、效率和可靠性。总体而言，本综述全面介绍了 MANNs，为基于内存的人工智能系统的未来研究提供了深入见解。

Abstract

This paper explores memory-augmented neural networks (MANNs), delving into how they blend human-like memory processes into AI. It covers different memory types, like sensory, short-term, and long-term memory, lin

memory-augmented neural networks memory processes hopfield networks neural turing machines memory-based ai systems

发现论文，激发创造

量化的记忆增强神经网络

本文研究使用量化方法对记忆扩充神经网络（MANN）进行压缩。经过深入探究，作者发现记忆寻址是影响性能的主要因素，并提出了一种鲁棒的量化方法来解决这个挑战。在实验中，该方法在计算能量和错误率方面比传统技术都有较大的改进。

Nov, 2017

在线模型适应的标记记忆网络

本文提出了一种名为 Labeled Memory Networks (LMNs) 的记忆增强神经网络设计，通过以类别为主键来组织记忆，写入非零损失的实例并使用基于标签的记忆替换，该方法能够在词模型和少样本学习等任务中取得显著准确度提高，特别适用于要求分类模型在线适应的任务。研究还表明，在上线部署时使用 LMNs 能够将神经网络模型适应到特定领域的标记数据，比元学习相关的其他记忆增强神经网络更优秀。

Jul, 2017

记忆增强图神经网络：来自神经科学的视角

本文全面回顾了增强记忆的图神经网络的现有文献，并通过心理学和神经科学的视角进行了分类和比较，提出了一些批判性的讨论和未来方向。

Sep, 2022

神经注意力存储

提出了一种新颖的关注机制，即神经关注记忆（NAM），它是一种可读写的记忆结构，并基于此设计了基于 NAM 的 MANN、few-shot 学习、N-way K-shot 学习和 Transformer 等模型，实验证明 NAM 在算法零样本泛化、减少假阳性等方面效果更好。

Feb, 2023

记忆增强神经网络的单次学习

本研究证明了增强记忆功能的神经网络具有快速吸纳新数据和利用数据进行准确预测的能力，并介绍了一种基于内容而不是基于位置的外部记忆访问方法。

May, 2016

ARMIN: 面向更高效、轻量级的循环记忆网络

本文利用 Auto-addressing and Recurrent Memory Integrating Network (ARMIN) 更加轻量级和高效地解决了神经网络中针对序列处理任务所面临的关于内存寻址机制和计算负载的问题。

Jun, 2019

理解 AI 认知：受人类记忆机制启发的推理神经模块

我们提出了一个由感知、记忆和推理构成的基于 PMI 框架的方法，通过聚合感知信息并在推理模块中与多源记忆进行交互与整合，实现了对当前感知信息更全面准确的解释，应用于改进问题回答任务、关系计算和图像分类任务等，提高了模型的效果。

Oct, 2023

高维鲁棒性记忆增强神经网络

该研究旨在开发一种新型的计算机架构，将内存增强神经网络（MANN）与计算存储器单元相结合，以实现在高维向量上的模拟内存计算，并使用基于内容的注意机制来处理此计算存储器单元上的数据，并在 Omniglot 数据集上展示出良好的性能来完成少样本图像分类任务。

Oct, 2020

人工智能软件模拟人类工作记忆、心理想象和心理连续性

本文介绍了一种人工智能（AI）体系结构，旨在模拟人类工作记忆系统及其迭代更新方式。此体系结构包括多个相互连接的神经网络，旨在模拟大脑皮层的专门模块。它们具有层次结构并集成到全局工作区中。通过持续的神经活动，它们能够暂时维持类似于工作记忆中维护的心理模式。本文将探讨如何通过此体系结构逐渐转换协同表示的分布，最终导致处理状态之间的心理连续性，从而导致类似人类的认知。

Mar, 2022

MANTRA：用存储增强网络进行多轨迹预测

本论文提出了一种基于记忆增强神经网络的多模态轨迹预测方法，该方法可以在复杂场景中安全地规划自主车辆路径，并且通过非参数化的记忆模块，可以不断改进预测效果。

Jun, 2020