- EMNLP从简单到复杂:一个逐步进行的框架,用于文档层面的信息论证提取
基于文档的事件论证提取(EAE)需要从单个文档中提取多个事件的论证。我们提出了一个简单到复杂的渐进框架,通过计算每个事件的难度,并按照简单到复杂的顺序进行提取,以提供更可靠的记忆。在 WikiEvents 上的实验证明了我们的模型在 F1 - 视而不见,仍在脑海中:基于视频追踪启用记忆模型的未被观察到的物体的推理与规划
通过将变形器关系动力学用于部分视图点云和物体发现和跟踪引擎,我们提出了 DOOM 和 LOOM,旨在将面向对象的记忆编码到多物体操纵推理和规划框架中,以实现机器人在真实环境中可靠地处理先前观察但当前被遮挡的物体的问题,并成功实现了包括处理遮 - 情感决策的离散与连续算法比较
该研究使用概率情感决策理论,考虑了长期记忆和短期记忆的智能网络中情感决策的动态,比较了基于离散动力学和连续动力学的两种多步操作算法,结果表明它们可能表现出相似或截然不同的特征概率,这揭示了离散操作更适合描述智能网络和情感人工智能。
- ICCVMAMo:利用记忆和注意力进行单目视频深度估计
我们提出了 MAMo,这是一种新颖的内存和注意力框架,用于单目视频深度估计。MAMo 可以将任何单幅图像深度估计网络增强和改进为视频深度估计模型,使其利用时间信息以预测更准确的深度。通过在视频中流式传输的模型中增加内存,MAMo 在深度预测 - 神经记忆解码:基于 EEG 数据和表示学习
使用神经解码的方法从 EEG 数据中提取记忆,通过深度表征学习和监督对比损失将脑电图映射到低维空间,可在训练数据集中没有出现的概念中识别,可应用于信息检索问题。
- GridMM:视觉语言导航的网格存储映射
通过构建自上而下的自我中心网格记忆地图 (GridMM) 来结构化所访问的环境,并提出了一种指令关联聚合方法来捕捉每个网格区域的细粒度视觉线索,实验证明该方法的优越性。
- 外部推理:朝着多大语言模型互换人类反馈的辅助方向
通过对 LLMs 的选择性整合外部知识,介绍了一种基于多个 LLM 之间交互协助的外部推理新方法 (ChatPDF),在人类反馈的响应下,根据查询的复杂性调整支持水平,经过全面评估后取得了最先进的性能,并且相比 LLMs 直接处理全文,这种 - ICML递归算法推理
本研究提出了一种使用栈来增强图神经网络(GNNs)的方式和一种捕获中间算法轨迹的方法,以改进递归算法的算法对齐,从而提高对较大输入图的泛化性能。
- Statler: 维护状态的语言模型用于体现推理
本文提出了一种新的框架 Statler,为大型语言模型增加了一个世界状态的显式表示来维护 “记忆”,从而改善了现有 LLMs 解决机器人推理任务中长时间跨度推理的能力,并在三个模拟环境和一个真实机器人领域的实验中取得了显著优于现有技术的结果 - 探究 (自我) 关注机制在认知与计算机视觉架构中的作用的博士论文
本文研究了复杂的推理任务中注意力和记忆的作用,分析了 Transformer-based self-attention 模型,并通过增加记忆单元的方式对其进行了扩展,提出了一种结合了注意力和记忆的认知架构 GAMR,并在视觉推理测试中的表现 - ChatDB:用数据库增强 LLMs,作为它们的符号内存
本文在现代计算机架构的启发下,将符号记忆引入大型语言模型 (LLMs),并使用 SQL 数据库验证提出的记忆框架的有效性。
- 利用鼹鼠学习:可转移的潜在空间表示,实现无需重建的导航
本研究提出通过盲辅助代理训练学习场景的可操作表示,用于导航决策,并且经实验证明该学习表示方式在处理复杂环境及从模拟到真实场景的转换时具有很好的鲁棒性。
- ICML单次遍历流式多臂赌博机的严格遗憾界
本文解决了多臂赌博机模型 (single-pass MABs) 中的 regret minimization 问题,并设计出一些具有不同 memory 复杂度的算法分别达到了不同的最优 regret 上界,并且通过实验取得了较好的效果。
- 基于类条件高斯分布的持续学习
提出 DeepCCG 方法,在在线连续学习中使用类条件高斯分类器及固定数量的示例来更新后验概率,从而立即适应表示转换,对抗表示迁移。
- 以基于质量的图为基础的记忆:构建人类记忆在 AI 中的概念性框架的模拟模型
本文提出了一种用于模拟记忆和学习的模型,该模型将记忆的地形差异转化为节点上的量,并且可以动态地发展和修改。
- 记忆力强还是弱?深入探究语言模型记忆机制
对预训练语言模型进行了多种实验,发现预训练模型有助于保持记忆,而非预训练的神经网络具有遗忘的问题,并且知识相关性和多样性会显着影响记忆形成。这些结论有助于了解预训练模型的能力,同时也为语言模型的新学习和推断算法的设计和评估提供了启示。
- 最近邻表示的信息容量
本文提出一种基于向量空间的联系性计算模型,其源于大脑的集成架构,模型中的记忆是由一组向量定义的,计算通过从输入向量到最近邻锚点的收敛执行,输出是与锚点相关联的标签。作者研究了该模型中布尔函数的表示,其中输入是二元向量,相应的输出是最近邻锚点 - 自我记忆增强的检索辅助文本生成
本文提出了一个名为 Selfmem 的框架,结合检索增强生成模型的原始和对偶问题,采用检索增强生成器自身进行迭代,以生成无限的记忆池,并使用记忆选择器来挑选下一代回合的记忆。在多个文本生成场景中进行了广泛的实验,并取得了 JRC-Acqui - LLM 作为机器人的大脑:统一自我中心记忆和控制
本文提出了一个名为 LLM-Brain 的新型机器人控制框架,旨在利用大规模语言模型作为机器人的大脑,统一身体自我感知记忆和控制,并利用多模态语言模型来实现机器人任务的零样本学习。该框架可以通过多轮对话实现感知、规划、控制和记忆等任务,并通 - 大型语言模型中的少样本记忆识别、回忆和保留
现代大型语言模型的训练中,即使只看几次,一个模型也可以记住它们,但随着新的例子不断训练,模型的这些记忆会逐渐被覆盖。同时,这些模型在识别、回忆和保留方面的表现提高得非常快。