MMOct, 2020

高维鲁棒性记忆增强神经网络

PDF
TL;DR该研究旨在开发一种新型的计算机架构，将内存增强神经网络（MANN）与计算存储器单元相结合，以实现在高维向量上的模拟内存计算，并使用基于内容的注意机制来处理此计算存储器单元上的数据，并在 Omniglot 数据集上展示出良好的性能来完成少样本图像分类任务。
memory-augmented neural networkscomputational memory unitcontent-based attention mechanismfew-shot image classificationphase-change memory devices
发现论文，激发创造
  • 记忆增强神经网络的单次学习

    本研究证明了增强记忆功能的神经网络具有快速吸纳新数据和利用数据进行准确预测的能力，并介绍了一种基于内容而不是基于位置的外部记忆访问方法。

    May, 2016

  • 异构存储增强神经网络

    通过引入可学习的记忆令牌和注意机制，我们提出了一种新颖的异构记忆增强方法，可以有效提升性能而不需要巨大的计算开销。

    Oct, 2023

  • 层次记忆网络

    本文研究了一种层级的记忆网络，其内存以分层的方式组织，通过最大内积搜索（MIPS）来在不需要计算所有查询项的情况下快速进行查询，从而相比于传统的软注意机制和硬注意机制，取得了更好的效果，能在大规模的事实问答任务中使用。

    May, 2016

  • Multigrid 神经存储

    本文提出了一种新颖的方法，为神经网络赋予出现、长期、大规模的内存，该方法针对神经网络与外部存储器库通过精心设计的控制器和手动设计的注意机制进行连接的策略进行了区分。我们的内存是内部、分布式、与计算共存、隐式寻址，而且比之前的方法明显更简单。经过层次化空间组织，参数化卷积，并分布在整个拓扑中的计算的存储单元，我们观察到了一种连贯记忆子系统的出现。

    Jun, 2019

  • 联想长短时记忆

    通过基于复值向量的关联记忆，不增加网络参数的情况下增强循环神经网络的新方法，与全息缩减表示和长短时记忆网络密切相关。与全息缩减表示不同的是，该系统创建存储信息的冗余副本，从而实现了减少噪声的检索。实验证明在多个记忆任务上的学习更快。

    Feb, 2016

  • 元学习神经记忆

    本文提出了一种基于外部内存机制及元学习的可快速调整及变更参数的深度神经网络，该模型不仅适用于监督性问题，还能在强化学习等多种学习问题中取得较好的表现。

    Jul, 2019

  • 利用计算相变存储进行准确的深度神经网络推断

    介绍了一种在内存计算硬件上训练 ResNet 类型卷积神经网络的方法，并提出了一种基于批标准化参数的补偿技术，可以在映射到 PCM 后实现分类精度高达 93.7％ 的 CIFAR-10 数据集和 71.6％ 的 ImageNet 基准测试的 top-1 精度。

    Jun, 2019

  • 具稀疏读写能力的记忆增强型神经网络的规模化

    我们提出了一种稀疏存储器访问方案（Sparse Access Memory，SAM），实现了具有非常大的内存时的高效训练，SAM 在训练上的数据效率与现有模型相当，可以扩展到数千个时间步和记忆量的任务，同时可以适用于维护记忆之间时间关联的模型，如可微分神经计算机（Differentiable Neural Computer）。

    Oct, 2016

  • 通过多级原位生成实现内存高效神经网络

    本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

    Aug, 2021

  • 量化的记忆增强神经网络

    本文研究使用量化方法对记忆扩充神经网络（MANN）进行压缩。经过深入探究，作者发现记忆寻址是影响性能的主要因素，并提出了一种鲁棒的量化方法来解决这个挑战。在实验中，该方法在计算能量和错误率方面比传统技术都有较大的改进。

    Nov, 2017