Apr, 2019

通过内存遮罩，反分配和连接分布锐度控制提高可微分神经计算机性能

PDF
TL;DRDifferentiable Neural Computer（DNC）优化算法任务和问答系统，修复存储器分配问题提高了性能。
differentiable neural computeralgorithmic tasksquestion answeringmemory allocationimproved performance
发现论文，激发创造
  • 健壮且可扩展的可微分神经计算机用于问答

    分析了区别于传统深度学习的可微分神经计算机的不足，提出更加稳健、可扩展的 rsDNC，相较于其他模型提高了 bAbI 任务的性能，同时在 CNN RC 任务上也有较好的应用效果。

    Jul, 2018

  • 基于大脑启发的记忆变换的可微分神经计算机，用于基于推理的问答

    本文提出了一种基于记忆变换的可微分神经计算机（MT-DNC），该模型将工作存储器和长期存储器集成到 DNC 中，实现了从工作存储器到长期存储器的自主转换，并有助于有效地提取获得的知识以提高推理能力。实验结果表明，与其他现有的 DNN 和 DNC 模型相比，已提出的方法实现了更好的性能和更快的收敛速度。

    Jan, 2023

  • 基于变形关系的可微分神经计算机对抗攻击

    本研究通过元变关系建立对抗性技术，研究了对答案类型的问答任务中，针对不同记忆规模的 Differentiable Neural Computer 面对对抗性攻击的鲁棒性，揭示了构建更加稳健的 DNC 的潜在机遇。

    Sep, 2018

  • DNCs 需要更多规划步骤

    研究机器学习模型在解决复杂算法问题时忽视所需计算复杂度对其正确解决问题的影响，讨论了计算时间和内存对隐式算法求解器泛化的影响，通过研究不同可规划步骤数的模型，即规划预算，发现规划预算约束可能导致模型泛化能力差，且降低其对外部内存的充分利用。通过在图的最短路径、凸包、图的最小割和关联召回等方面进行评估，展示了规划预算对学习算法的行为，如学习时间复杂度、训练时间、稳定性以及对大于训练集的输入进行泛化的影响。

    Jun, 2024

  • HiMA：一种快速可扩展的基于历史的内存访问引擎，用于可微分神经计算机

    HiMA is a tiled, history-based memory access engine with distributed memories designed to improve computation speed for memory-augmented neural networks supporting almost all memory operations, including DNC-D, demonstrating a significant improvement in speed, area efficiency, and energy efficiency compared to other MANN accelerators and Nvidia 3080Ti GPU.

    Feb, 2022

  • 动态神经图灵机及其软地址与硬地址方案

    本研究在神经图灵机模型中引入可训练的记忆寻址方案，实现了动态神经图灵机。通过在 Facebook bAbI 任务及其他任务中对动态神经图灵机的表现进行实验，该模型的记忆读 / 写机制表现出出色的性能。

    Jun, 2016

  • 密集联想记忆对抗性输入具有强健性

    本研究使用 Dense Associative Memory 模型框架，证明了在能量函数中交互顶点的功率足够大的极限下，与带有 ReLUs 的 DNN 等效的带有更高阶交互的模型可以更接近于人类视觉感知，并且具有更好的抵御恶意对抗攻击的能力。

    Jan, 2017

  • 视觉和文本问答的动态记忆网络

    本文通过分析动态记忆网络并提出多项改进，包括一种新的图像输入模块，实现在缺乏支持事实的情况下回答问题，该新型 DMN + 模型成功应用于视觉问答数据集和文本问答数据集上，且无需支持事实监督。

    Mar, 2016

  • Kanerva 机器：一种生成式分布式记忆

    本研究提出了一种端到端训练的内存系统，可以快速适应新数据并生成类似的样本。它具有强大的分布式读写机制和可分析的内存，可以通过贝叶斯更新规则进行最优在线压缩，以内存作为数据依赖的先验概率分布的层次性条件生成模型，将自适应内存与自底向上感知相结合产生表示观察的代码。经验证明，与 Differentiable Neural Computer (DNC) 及其变种相比，我们的内存模型具有更高的容量和更容易训练。

    Apr, 2018

  • 提高前馈神经网络在脉冲神经形态芯片中的分类准确性

    使用新的二进制硬件跨棒学习算法实现深度神经网络在 TrueNorth 芯片上的部署，可在以前工作的基础上实现显著提高（76％与 86％准确度）同时保持良好的性能 MNIST 手写数据集。

    May, 2017