介绍一种新的神经网络结构 —— 工作记忆网络,该网络在保持关系推理能力的同时将计算复杂度从二次降至线性,并在文本和视觉问题应用中取得了显著结果。
May, 2018
本文研究深度学习模型,结合记忆组件或注意力机制进行问答任务。我们比较了三种模型:神经机器翻译、神经图灵机和记忆网络,用于一个模拟 QA 数据集。研究表明,注意力和记忆的组合有潜力解决某些 QA 问题。其中,本文是首个使用神经机器翻译和神经图灵机解决 QA 任务的研究。
Oct, 2015
介绍了一种动态记忆网络 (DMN) 神经网络架构,它处理输入序列和问题,形成情节性记忆,并生成相关答案,用已训练的词向量表示和输入 - 问题 - 答案三元组训练,能在自然语言处理中取得最先进的结果。
Jun, 2015
该论文研究了多任务和迁移学习对简单问题回答的影响,提出了一个新的包含 10 万个问题的数据集,并在 Memory Networks 框架下成功训练了系统来回答问题。
本文提出了一种基于外部内存机制及元学习的可快速调整及变更参数的深度神经网络,该模型不仅适用于监督性问题,还能在强化学习等多种学习问题中取得较好的表现。
Jul, 2019
本文借鉴了人类记忆的机制,提出一种新的记忆模型,在处理输入时进行了排练和预测以记住重要信息,成功应用于问题回答数据集并得到了重大改进。
May, 2023
本文介绍了一种具有循环注意力模型的神经网络,该模型可以扩展到可能很大的外部存储器,并被应用于各种任务,如(合成)问答和语言建模。同时,本文展示了多个计算步骤(跳数)的关键概念可以提高性能表现。
Mar, 2015
论文提出了一种新的分层记忆网络 (Hierarchical Memory Networks, HMN),它利用注意力机制在句子级别和单词级别的记忆上分别进行推理,以处理在答案中出现较少或不知道的词汇,并在实验中证明其表现优于记忆网络。
Sep, 2016
本文介绍了长期记忆网络 (LTM) 以解决自然语言理解模型在处理长的序列文本时出现的问题。通过在语言建模任务上进行测试,我们发现 LTM 能够学习到无限长的序列信息,并与其他需要长时间记忆的语言模型进行比较。
论文提出了一种基于记忆网络和神经关注机制的机器阅读模拟器,能够更好地处理结构化输入,并结合编码器 - 解码器体系结构,取得了很好效果。
Jan, 2016