本文提出了一种基于内部工作记忆模块的决策制定代理，可以通过存储、混合和检索信息来改善其在不同下游任务中的训练效率和泛化能力，并进一步证明记忆微调可以增强所提出架构的适应性。

May, 2023

本文介绍了一种人工智能（AI）体系结构，旨在模拟人类工作记忆系统及其迭代更新方式。此体系结构包括多个相互连接的神经网络，旨在模拟大脑皮层的专门模块。它们具有层次结构并集成到全局工作区中。通过持续的神经活动，它们能够暂时维持类似于工作记忆中维护的心理模式。本文将探讨如何通过此体系结构逐渐转换协同表示的分布，最终导致处理状态之间的心理连续性，从而导致类似人类的认知。

Mar, 2022

本文通过应用认知心理学的工作记忆框架来增强大型语言模型（LLMs）的架构，以解决其在人类记忆能力方面的限制，并提出了一种创新模型，包括集中的工作记忆中心和情景缓冲区，以提供更高的连续性，以实现复杂任务和合作场景中的细致语境推理。然而，对于情景记忆的优化编码、存储、优先级、检索和安全性仍需进一步研究，以促进发展具有更复杂、类似人类记忆能力的 LLM 代理。这表明记忆机制是人工通用智能领域的重要前沿。

Dec, 2023

本研究探讨了 ChatGPT 的工作记忆容量，并比较了其在口头和空间 N-back 任务中的表现。研究结果表明，在人类智能与 AI 发展中，对人类工作记忆的理解对于开发智能系统至关重要，并且 AI 模型可以加深我们对人类工作记忆的认识，促进未来我们进一步提高 AI 工作记忆和理解人类工作记忆的努力。

Apr, 2023

本研究旨在研究如何使用基于 Transformer 的模型来提高序列决策智能体的性能，并提出了 Working Memory Graph（WMG）代理程序，评估其在三种环境中的作用，并发现基于观测空间的因数组合 WMG 的 Transformer-based 架构可以显著提高其在 RL 环境中的样本使用效率。

Nov, 2019

我们提出了一个由感知、记忆和推理构成的基于 PMI 框架的方法，通过聚合感知信息并在推理模块中与多源记忆进行交互与整合，实现了对当前感知信息更全面准确的解释，应用于改进问题回答任务、关系计算和图像分类任务等，提高了模型的效果。

Oct, 2023

本文论述了如何实现类人的计算机工作记忆和思维过程，聚焦于模拟哺乳动物的工作记忆系统，提出了两个相互作用的工作记忆存储区，以及一种迭代更新的信息处理策略，作为设计和编程人工通用智能的计算和神经生理决定因素和算法。

Mar, 2022

这篇论文研究了在 Transformer 模型解码器中添加的符号工作内存的属性，该工作内存增强了机器翻译任务中模型预测的质量，并作为信息的神经符号表示，对于模型进行正确翻译至关重要。通过研究记忆内容发现，翻译文本的关键词存储在工作内存中，指向记忆内容与处理文本的相关性。此外，存储在内存中的标记和词性的多样性与机器翻译任务的复杂性相关。

Jun, 2024

该研究通过开发一个具有单个自注意头的循环神经语言模型，捕捉到了人类实验中观察到的语义和句法干扰效应。

Oct, 2023

通过分析编码器和解码器 Transformer 模型，我们展示了在解码器模型中内存带宽如何成为主要的瓶颈，并提出了模型架构、训练和部署策略的重新设计来克服这一内存限制。

Mar, 2024