memory recall | BriefGPT - AI 论文速递

关键词memory recall

搜索结果 - 4

Samba：高效无限上下文语言建模的简单混合状态空间模型
Samba 是一种简单的混合架构，使用 Mamba（一种选择性状态空间模型）与滑动窗口注意力机制（SWA）相结合，以有效地建模具有无限上下文长度的序列，并实现了完美的内存回忆。
PDF21 days ago
通过成语理解 Transformer 记忆召回
本文提供了第一种探测 transformer LMs 中记忆序列召回的方法，并分析了记忆预测是一个两步过程，其存储和检索存储在网络的早期层中，这为理解记忆召回提供了第一步，并为未来的 transformer 记忆研究提供了方法基础。
PDF2 years ago
自动召回机制：内部回放、持续学习与大脑
本篇文章提出了一种新的方法来缓解训练神经网络时非稳态带来的行为遗忘现象，利用模型内部的内隐记忆来进行实时样本生成，并侧重于优化实际的训练数据批次，从而高效和可扩展的进行训练。作者探讨了该方法与大脑模型的对应之处，并发现这种方法的高效特性是自
PDF4 years ago
通过传输价值优化长时间尺度下的代理行为
本文提出一种新的强化学习范式，利用记忆回忆特定事件来赋予过去行动以荣誉，解决了过去人工智能方法无法解决的问题，将为神经科学、心理学和行为经济学等领域提供计算机模型的机制解释。
PDF6 years ago