memory mechanism | BriefGPT

关键词memory mechanism

搜索结果 - 17

QRMeM：通过问题和反思记忆机制突破长度限制
通过引入基于问题和反思的记忆机制策略，结合静态文本内容和结构化图引导，提升了大型语言模型在文本处理和问答任务上的性能表现。
PDF15 days ago
基于大型语言模型的代理人的记忆机制调查
大型语言模型（LLM）基于代理近年来引起了研究和行业界的广泛关注。本文提出了对 LLM 基于代理的记忆机制进行全面调查，包括记忆的定义、需要、设计、评估以及在代理应用中的重要作用，并分析了现有工作的局限性和未来方向。
PDF2 months ago
带有角色引导和标题增强的遮蔽生成故事变换器
Story Visualization 任务的挑战在于生成图像序列中的视觉质量和帧间的一致性。我们采用并行的基于 transformer 的方法，通过过去和未来的描述与图像进行交叉注意力来实现一致性，并结合文本条件和字符条件的逻辑回归来隐式
PDF4 months ago
EMNLPLDM$^2$：一种模拟人类认知的大型决策模型与动态记忆增强
我们提出了一种名为 LDM^2 的新型模型，它利用动态记忆机制来构建动态提示，根据所面临的状态引导大型语言模型做出适当的决策。在两个交互环境中进行的广泛实验证明了 LDM^2 在得分和成功率方面优于基线模型，证明了其有效性。
PDF7 months ago
电影对话：从密集令牌到稀疏记忆的长视频理解
视频理解系统 MovieChat 利用大型语言模型和视频基础模型，通过引入记忆机制解决了处理长视频时的计算复杂性、内存开销和长期时间连接等挑战。
PDFa year ago
MemoryBank：用长期内存增强大语言模型
提出了 MemoryBank，这是一种采用 Ebbinghaus 遗忘曲线中的记忆更新机制的新型记忆机制，旨在解决长期交互中 LLM 的记忆缺陷问题，并通过与心理对话调整提高其同理心。通过实验研究，证明了 MemoryBank 能够成功提高
PDFa year ago
IJCAI双语义感知循环全局自适应网络：用于视觉和语言导航
该论文提出了一种双语义感知递归全局自适应网络（DSRG），包括指导语言模块和外貌 - 语义视觉模块，用于视觉和语言语义学习，以及全球自适应聚合模块和递归记忆融合模块，用于对全景观测进行显式内存融合。虽然在 R2R 和 REVERIE 数据
PDFa year ago
MemoNet: 多哈希码本网络高效记忆所有交叉特征的表示以预测 CTR
本文提出了一个名为 multi-Hash Codebook NETwork（HCNet）的独立记忆机制，用于在 CTR 任务中有效地学习和记忆所有交叉特征的表示。HCNet 可以被看作是一个通用模块，并且可以与任何当前的深度 CTR 模型相
PDF2 years ago
ICLRMemoNav: 为视觉导航选择信息性记忆
本研究提出了一种新的记忆机制 MemoNav，它通过保留有信息的短期记忆和长期记忆来提高多目标任务下图像目标导航的性能。实验结果表明，MemoNav 方法与最先进的方法相比，在使用更少的导航历史记录的情况下取得了更好的性能，并且更不容易被困
PDF2 years ago
ACLTransformer 语法：在规模上增强具有语法归纳偏见的转换语言模型
Transformer Grammars 是一种新颖的语言模型，通过特殊的注意力掩码和确定性转换实现递归句法组合，提高了句子级别和句法敏感的语言建模性能，在长文本建模中，递归的句法组合对表示整个句子向量造成了瓶颈并影响了逼近度，表明一个独立
PDF2 years ago
EMNLP用记忆和知识增强的语言模型推断长篇故事的关键性
本研究利用 Barthes Cardinal Functions 和 surprise 和理论为基础的无监督方法，将其应用于长篇叙事形式中，改进了标准 transformer 语言模型，通过引入 Retrieval Augmented Ge
PDF3 years ago
异构环境中双向压缩用于部分参与的分布式或联邦学习：紧致的收敛保证
本研究引入了一种名为阿尔忒弥斯的框架，旨在解决分布式或联邦学习中的通信限制和设备部分参与的问题。该框架可在双向压缩信息方面改善现有算法，并提供了快速收敛率和针对部分参与设备挑战的解决方案。
PDF4 years ago
CVPRL3DOC：终身 3D 物体分类
本文提出了一种 Lifelong 3D Object Classification (L3DOC) 框架，该框架通过模拟 “人类学习” 的方式连续学习新的三维物体分类任务，其中核心思想是在生命周期学习的角度上分解 PointNet，同时在层
PDF5 years ago
压缩变压器进行长序列建模
本研究介绍了压缩 Transformer，一种关注序列模型，用于长距离序列学习。在维基百科 103 和 Enwik8 基准测试中，我们发现压缩 Transformer 获得了最先进的语言模型结果，分别为 17.1 ppl 和 0.97 bp
PDF5 years ago
AAAI面向建模长期依赖的非饱和循环单元
本文提出了一种新的递归神经网络架构 NRU，该架构依赖于内存机制，不采用饱和激活函数和饱和门，以进一步减轻消失梯度问题，并在一系列合成和真实世界任务中证明了该模型是与其他架构相比，在具有和不具有长期依赖的所有任务中表现最佳的唯一模型。
PDF5 years ago
基于 CRF-Attentive 结构网络的对话行为识别
本研究提出了一种使用丰富的条件随机场 (CRF) 结构依赖性、采用分层语义推理和记忆机制的话语行为识别方法，并使用扩展的结构化注意力网络考虑上下文的话语和相应的对话行为，实验结果显示该方法表现优于其他最先进的解决方案。
PDF7 years ago
卷积残差记忆网络
通过在卷积残差网络中引入长短时记忆机制，增强了记忆机制加强卷积神经网络的性能，使得该方法在 CIFAR-100 基准测试上优于其他最先进的技术，并且在 CIFAR-10 和 SVHN 基准测试上与之相当，而且相比于深度相当的深度残差神经网络
PDF8 years ago