NIPSOct, 2016

具稀疏读写能力的记忆增强型神经网络的规模化

PDF
TL;DR我们提出了一种稀疏存储器访问方案（Sparse Access Memory，SAM），实现了具有非常大的内存时的高效训练，SAM 在训练上的数据效率与现有模型相当，可以扩展到数千个时间步和记忆量的任务，同时可以适用于维护记忆之间时间关联的模型，如可微分神经计算机（Differentiable Neural Computer）。
neural networksexternal memorysparse access memorytime complexitydata efficiency
发现论文，激发创造
  • 高维鲁棒性记忆增强神经网络

    该研究旨在开发一种新型的计算机架构，将内存增强神经网络（MANN）与计算存储器单元相结合，以实现在高维向量上的模拟内存计算，并使用基于内容的注意机制来处理此计算存储器单元上的数据，并在 Omniglot 数据集上展示出良好的性能来完成少样本图像分类任务。

    Oct, 2020

  • 记忆增强神经网络的单次学习

    本研究证明了增强记忆功能的神经网络具有快速吸纳新数据和利用数据进行准确预测的能力，并介绍了一种基于内容而不是基于位置的外部记忆访问方法。

    May, 2016

  • 自注意力联想记忆

    本文提出了一种基于自注意力的联想记忆算子（SAM），通过 SAM 可以将个别经历的存储（项目记忆）和它们之间的关系（关系记忆）分离，然后在一个序列模型中将这两种记忆体有机地联系起来，从而实现记忆和关系推理，该模型在各种机器学习任务中具有竞争力的表现，包括几何、图形、强化学习和问题回答等方面。

    Feb, 2020

  • 用更少的记忆学习更多

    本论文研究了使用外部存储器的记忆增强神经网络，提出了一种更优的存储方案，得到了对多种序列建模任务的最优解。

    Jan, 2019

  • 稀疏分布式内存是一种连续学习器

    使用稀疏分布式记忆连接核心神经回路与 Transformer 模型，创造了一种修改的多层感知器，该算法可有效解决人工神经网络所面临的连续学习问题，并广泛适用于训练稀疏网络。

    Mar, 2023

  • 异构存储增强神经网络

    通过引入可学习的记忆令牌和注意机制，我们提出了一种新颖的异构记忆增强方法，可以有效提升性能而不需要巨大的计算开销。

    Oct, 2023

  • 在密集硬件上快速训练稀疏图神经网络

    本研究通过优化稀疏矩阵算法，使用面向固定大小数据的平台扩展了稀疏图神经网络模型，使用 512 核 TPUv2 Pod 仅用 13 分钟训练，而原始训练需要近一天。

    Jun, 2019

  • 记忆之外：语言模型中随机内存访问的挑战

    通过合成任务，我们研究了生成式语言模型（例如 GPT-2）能否按顺序或随机访问其记忆，并发现记忆重述和置换等技术提高了随机访问能力，进而在问答任务中取得了显着的改进。

    Mar, 2024

  • 外部存储器在提高预测模型容量方面的能力

    本文介绍了一种在深度网络中引入稀疏性的方法，使用外部参数表作为网络各层的稀疏索引，重点探讨了如何进行索引和利用这些索引内容的方法，并提出了一种新的交替更新方法来增加标记维度并提高语言建模效果。

    Jan, 2023

  • 基于稀疏注意力记忆网络的长序列点击率预测

    本文针对在采用更长序列的情况下推荐精度和个性化程度的提高未得到很好处理的情况，提出了一种新的稀疏注意存储模型（SAM）以模拟用户行为序列，实现了高效的训练和实时推荐，并在大型电子商务平台上部署进行了 A/B 测试，结果表明，相对于传统模型，该模型能够显著提高用户点击率达到 7.30％的改善。

    Aug, 2022