memory | BriefGPT - AI 论文速递

关键词memory

搜索结果 - 101

AI 原生记忆：从 LLMs 通往 AGI 的路径
通过集成记忆，我们设想了从大型语言模型（LLMs）到人工通用智能（AGI）的一种路径。我们认为 AGI 应该是一个 LLM 作为核心处理器的系统，其中除了原始数据外，该系统的记忆还可以存储推理过程中得出的大量重要结论。相比仅处理原始数据的检
PDF6 days ago
记忆增强型神经求解器在组合优化中的高效自适应
MEMENTO 是一种基于记忆的强化学习方法，可以在推理时间动态更新行动分布，提高神经求解器的适应性和性能。
PDF8 days ago
Sketch-GNN：具有亚线性训练复杂性的可伸缩图神经网络
提出了一种基于草图的算法，其训练时间和内存随着图的大小而亚线性增长，通过在少量紧凑的图草图上训练 GNN，避免了与图大小线性相关的复杂性增长，并通过局部敏感哈希（LSH）技术提高草图的质量，实验证明了该算法在大规模图上的可扩展性和竞争性能与
PDF11 days ago
学习阈值导致语言共存的稳定性
该研究提出了一种语言竞争模型，该模型充分考虑了记忆和学习对语言转移动态的影响，通过使用 Abrams-Strogatz 模型作为起点。模型以讲话者比例的阈值来表达记忆和学习的效应，在最简单的形式下，该模型是可解的。除了两种语言中的共识外，该
PDF18 days ago
循环神经网络：梯度消失和梯度爆炸并非问题的终点
递归神经网络在学习长期记忆方面存在困难，而最近基于状态空间模型的 RNN 取得的成功挑战了我们的理论理解。我们的分析揭示了元素逐个递归设计模式和谨慎参数设置在缓解这种效应方面的重要性，这一特征存在于状态空间模型及其他架构中。总体而言，我们的
PDFa month ago
通过对比策略进行终身学习和选择性遗忘
基于对比策略的学习、选择性遗忘 (LSF) 框架使得长期学习中忘却和记忆不同类别可以互相独立，通过维护或扰乱特征分布，在四个基准数据集上实验表明我们的方法达到了最新的最优结果。
PDFa month ago
STRIDE：面向战略和互动决策的辅助工具 LLM 代理框架
本文针对目前语言模型在战略多代理决策环境中存在的局限性，提出了一种新颖的语言模型代理框架，通过加入记忆和专门设计的工具，提升了其战略决策能力。通过在多个重要经济环境中的应用，特别是双边协商和多代理动态机制设计，我们使用定量指标评估了该框架在
PDFa month ago
WISE: 对大规模语言模型的终身模型编辑的知识记忆的重新思考
这篇论文提出了一种名为 WISE 的方法，通过设计双参数记忆方案和知识分片机制，解决了大语言模型在终身模型编辑中的可靠性、泛化性和局部性之间的冲突，有效提升了问题回答、虚构和超越分布等任务的性能。
PDFa month ago
RAM: 通过学习通信优化内存系统
基于 RAG 方法的 RAM 框架利用递归推理检索和经验反思来不断更新记忆，并从用户的交流反馈中学习，通过大量实验证明在处理假设错误和多跳问题方面显著优于传统的 RAG 和自知识方法，同时展示了其在不同类型的反馈和检索方法链上的潜力，从而推
PDF2 months ago
降低 PyTorch 对选择性微分的内存消耗
在深度学习任务中，内存是一个有限的资源。除了神经网络权重外，另一个主要消耗内存的因素是通过自动微分（AD）建立的计算图，用于反向传播。我们观察到 PyTorch 当前的 AD 实现在存储计算图时忽略了参数可微性的信息。然而，这些信息对于在许
PDF3 months ago
在 Imaginarium 中的 LLMs: 通过模拟试错学习工具
提出了一种仿生的方法，即模拟试错（STE），通过协调三个关键机制：试错、想象和记忆，为工具增强的大型语言模型（LLMs）提供成功使用工具的行为。通过在 ToolBench 上进行的综合实验，证明 STE 在上下文学习和微调设置下显著改善了
PDF4 months ago
基于动态记忆的自适应优化
优化器记忆机制的研究表明通过引入更多记忆单元以及使其更具自适应性，可提高已知优化器的性能。
PDF4 months ago
故事回顾片段识别
通过回顾，回忆读者对于先前文本中重要元素的记忆，以更好地理解正在进行的情节，可以帮助书籍阅读。本研究提出了史上第一个基于手工制作的评估数据集，用于回顾片段识别任务的基准。实验结果表明，该任务对于 PLMs、LLMs 和提出的方法来说都具有挑
PDF5 months ago
记忆、空间和计划：多尺度预测表示
记忆与预测与规划密不可分。灵活的生物和人工智能代理行为取决于学习过去和预测未来在不断变化的环境中的相互作用。本章回顾了计算、行为和神经证据，表明这些过程依赖于学习经验的关系结构，即认知地图，并得出两个关键点。首先，这些记忆结构以多尺度、紧凑
PDF6 months ago
学习 POMDP 策略的可解释且性能更好的表示
部分可观察马尔科夫决策过程（POMDP）的策略通常需要记忆，本文介绍了一种使用 L*- 算法学习策略的自动机表示的方法，相比于策略的表格表示，生成的自动机规模更小、更易解释，同时在学习过程中，我们的启发式方法甚至可以改善策略的性能，相较于直
PDF6 months ago
SIGIR探索大型语言模型与知识图谱的推理能力
LLMs 通过内部的知识图来推理知识图谱，本文研究了 LLMs 从预训练知识图中召回信息的准确性以及从上下文中推断知识图关系的能力，并通过四个不同的知识图推理任务来验证了其成功处理简单和复杂知识图推理任务以及从输入上下文中推断的实验结果。
PDF7 months ago
利用大型语言模型研究人类对有意义叙述的记忆
语言模型作为一种科学工具，我们展示了它在研究人类对有意义材料的记忆上的应用，通过在线大规模记忆实验和结果分析，发现记忆和认知表现与叙述长度成线性关系，并且研究叙述理解在记忆中的作用。
PDF8 months ago
挑选和通过” 作为基于第一原理记忆、泛化性和可解释性评估的三重分类
通过研究 “Sushi Go Party!” 一类闭合纸牌游戏，建立了对模型无关强化学习算法和学习记忆能力的基本标准，同时量化了强化学习算法在不同纸牌组合上训练的普适性，并通过拟合决策规则对模型策略进行了解释和与人类选手的排名偏好进行了比较
PDF8 months ago
EMNLP从简单到复杂：一个逐步进行的框架，用于文档层面的信息论证提取
基于文档的事件论证提取（EAE）需要从单个文档中提取多个事件的论证。我们提出了一个简单到复杂的渐进框架，通过计算每个事件的难度，并按照简单到复杂的顺序进行提取，以提供更可靠的记忆。在 WikiEvents 上的实验证明了我们的模型在 F1
PDF8 months ago
视而不见，仍在脑海中：基于视频追踪启用记忆模型的未被观察到的物体的推理与规划
通过将变形器关系动力学用于部分视图点云和物体发现和跟踪引擎，我们提出了 DOOM 和 LOOM，旨在将面向对象的记忆编码到多物体操纵推理和规划框架中，以实现机器人在真实环境中可靠地处理先前观察但当前被遮挡的物体的问题，并成功实现了包括处理遮
PDF9 months ago