本文介绍了采用可视化注意力机制的全可训练、深度神经网络的设计和评估，用于记忆性估计。研究了从图像分类到记忆任务的深层模型的迁移学习的适用性和关注机制对记忆性估计的影响，并在 SUN 记忆力和 LaMem 数据集上评估了网络，在 Spearman 等级相关性和平均平均误差方面优于现有技术水平模型，与人类的一致性接近。

Apr, 2018

本文提出了神经属性机（NAM），并研究了其在生成结构复杂的序列方面的效果。NAM 利用逻辑机器表示潜在的语法，并通过优化定制损失函数来教导神经机器语法的约束条件，相比仅从语法样本中训练的传统 RNN，在生成时违规约束条件的情况更少。

May, 2017

该研究提出了一种基于自我注意力机制和长远时间关系的 Temporal Memory Attention Network（TMANet），来达到视频语义分割的最佳性能，尤其在 Cityscapes 和 CamVid 数据集上表现出新的最佳性能，并且避免了消耗大量计算资源的精确光流建模的缺点。

Feb, 2021

应用神经加法模型 (NAMs) 研究多变量预测问题，使用广义加法模型为每个输入变量提供解释性并且能够成功地对多元时间序列数据进行预测。

May, 2022

由于深度神经网络在高风险领域应用时存在的不透明性，本文提出了一种名为神经添加模型（NAMs）的方法，将神经网络的表现力和广义可加模型的内在可解释性结合起来，令其在高风险领域有更好的应用前景，同时 NAMs 表现出了良好的性能，其可用于多任务学习及建立更复杂可解释的 COVID-19 模型。

Apr, 2020

本文介绍了一种基于注意力机制的神经机器翻译模型，该模型通过暂时性存储对齐信息和调节注意力值的方法，提高了翻译效果， 在两种语言对上的大规模实验中，该方法不仅超越了基线 NMT 模型，还比其他相关方法表现更出色，甚至有些情况下在不使用集成的情况下也能胜过 SMT 基准。

Aug, 2016

支持向量机（SVM）和神经网络（NN）具有很强的互补性。为了解决将它们真正整合起来的问题，本研究提出了一种样本关注记忆网络（SAMN），通过将样本关注模块、类原型和记忆块纳入神经网络中，有效地结合了 SVM 和 NN。SAMN 在多分类任务中显著提高了分类性能，而且在参数规模相似的情况下超过了单独的 SVM 或 NN 模型，以及之前最佳的 SVM 和 NN 结合模型。样本关注机制是一个灵活的模块，可以轻松深化并应用于需要的神经网络中。

Sep, 2023

提出了一种基于键值记忆的注意力机制模型用于神经机器翻译，通过维护及时更新的键内存来跟踪注意力历史和固定值内存来存储源语句的表示，在两个记忆之间进行非平凡的转换和迭代交互，以便每个解码步骤时，可以关注更合适的源单词来预测下一个目标单词从而提高翻译的适用性。在中英文和 WMT17 德英翻译任务的实验结果表明了所提出的模型的优越性。

Jun, 2018

该论文探讨了记忆增强神经网络（MANNs），研究它们如何将类人记忆过程融入人工智能中，涵盖了感知记忆、短期记忆和长期记忆等不同类型的记忆，并将心理理论与人工智能应用联系起来。研究调查了包括霍普菲尔德网络、神经图灵机、相关矩阵记忆、记忆形态神经网络和神经注意力记忆在内的先进架构，解释了它们的工作原理和优势所在。深入探讨了 MANNs 在自然语言处理、计算机视觉、多模态学习和检索模型等现实世界应用中的使用情况，展示了记忆增强器如何提高人工智能任务的准确性、效率和可靠性。总体而言，本综述全面介绍了 MANNs，为基于内存的人工智能系统的未来研究提供了深入见解。

Dec, 2023

本论文提出了一种有键 - 值注意机制的神经语言模型，能够输出不同的 key 和 value 表示，同时对下一个单词的分布进行编码，比现有的基于记忆的、神经语言模型表现更好，但发现该方法主要利用最近五个输出表示的记忆。

Feb, 2017