Jan, 2023

基于大脑启发的记忆变换的可微分神经计算机，用于基于推理的问答

PDF
TL;DR本文提出了一种基于记忆变换的可微分神经计算机（MT-DNC），该模型将工作存储器和长期存储器集成到 DNC 中，实现了从工作存储器到长期存储器的自主转换，并有助于有效地提取获得的知识以提高推理能力。实验结果表明，与其他现有的 DNN 和 DNC 模型相比，已提出的方法实现了更好的性能和更快的收敛速度。
differentiable neural computermemory transformationreasoningquestion answeringartificial intelligence
发现论文，激发创造
  • 健壮且可扩展的可微分神经计算机用于问答

    分析了区别于传统深度学习的可微分神经计算机的不足，提出更加稳健、可扩展的 rsDNC，相较于其他模型提高了 bAbI 任务的性能，同时在 CNN RC 任务上也有较好的应用效果。

    Jul, 2018

  • 基于变形关系的可微分神经计算机对抗攻击

    本研究通过元变关系建立对抗性技术，研究了对答案类型的问答任务中，针对不同记忆规模的 Differentiable Neural Computer 面对对抗性攻击的鲁棒性，揭示了构建更加稳健的 DNC 的潜在机遇。

    Sep, 2018

  • 通过内存遮罩，反分配和连接分布锐度控制提高可微分神经计算机性能

    Differentiable Neural Computer（DNC）优化算法任务和问答系统，修复存储器分配问题提高了性能。

    Apr, 2019

  • DNCs 需要更多规划步骤

    研究机器学习模型在解决复杂算法问题时忽视所需计算复杂度对其正确解决问题的影响，讨论了计算时间和内存对隐式算法求解器泛化的影响，通过研究不同可规划步骤数的模型，即规划预算，发现规划预算约束可能导致模型泛化能力差，且降低其对外部内存的充分利用。通过在图的最短路径、凸包、图的最小割和关联召回等方面进行评估，展示了规划预算对学习算法的行为，如学习时间复杂度、训练时间、稳定性以及对大于训练集的输入进行泛化的影响。

    Jun, 2024

  • 视觉和文本问答的动态记忆网络

    本文通过分析动态记忆网络并提出多项改进，包括一种新的图像输入模块，实现在缺乏支持事实的情况下回答问题，该新型 DMN + 模型成功应用于视觉问答数据集和文本问答数据集上，且无需支持事实监督。

    Mar, 2016

  • 门控端到端记忆网络

    本文提出了一种新的、受计算机视觉中连接快捷原则启发的端到端可训练内存网络 (End-to-End trainable Memory Networks) 结构 ——Gated End-to-End trainable Memory Networks (GMemN2N)，该结构无需使用任何额外的监督信号，可以显著提高 20 bAbI 数据集的最具挑战性的任务和真人机器人对话 (DSTC-2) 数据集。

    Oct, 2016

  • 问答：面向自然语言处理的动态记忆网络

    介绍了一种动态记忆网络 (DMN) 神经网络架构，它处理输入序列和问题，形成情节性记忆，并生成相关答案，用已训练的词向量表示和输入 - 问题 - 答案三元组训练，能在自然语言处理中取得最先进的结果。

    Jun, 2015

  • 理解 AI 认知：受人类记忆机制启发的推理神经模块

    我们提出了一个由感知、记忆和推理构成的基于 PMI 框架的方法，通过聚合感知信息并在推理模块中与多源记忆进行交互与整合，实现了对当前感知信息更全面准确的解释，应用于改进问题回答任务、关系计算和图像分类任务等，提高了模型的效果。

    Oct, 2023

  • 深思熟虑：带有内部工作记忆的决策 Transformer

    本文提出了一种基于内部工作记忆模块的决策制定代理，可以通过存储、混合和检索信息来改善其在不同下游任务中的训练效率和泛化能力，并进一步证明记忆微调可以增强所提出架构的适应性。

    May, 2023

  • Kanerva 机器：一种生成式分布式记忆

    本研究提出了一种端到端训练的内存系统，可以快速适应新数据并生成类似的样本。它具有强大的分布式读写机制和可分析的内存，可以通过贝叶斯更新规则进行最优在线压缩，以内存作为数据依赖的先验概率分布的层次性条件生成模型，将自适应内存与自底向上感知相结合产生表示观察的代码。经验证明，与 Differentiable Neural Computer (DNC) 及其变种相比，我们的内存模型具有更高的容量和更容易训练。

    Apr, 2018