ChatDB:用数据库增强 LLMs,作为它们的符号内存
LLMDB 是一种通过应用机器学习和大型语言模型优化数据管理问题的范例,具有高泛化能力和推理能力,可避免幻觉问题,并通过引入特定领域的知识、矢量数据库和 LLM 代理来提高准确性,其中三个真实场景包括查询重写、数据库诊断和数据分析。
Feb, 2024
该论文研究了大型语言模型作为符号推理器的潜在应用,提出了一个针对符号挑战和实现游戏目标的 LLM 代理,并通过实验结果证明了其能显著增强 LLMs 作为符号推理自动化代理的能力,对涉及符号任务的基于文本的游戏取得了 88% 的平均性能。
Jan, 2024
本文通过应用认知心理学的工作记忆框架来增强大型语言模型(LLMs)的架构,以解决其在人类记忆能力方面的限制,并提出了一种创新模型,包括集中的工作记忆中心和情景缓冲区,以提供更高的连续性,以实现复杂任务和合作场景中的细致语境推理。然而,对于情景记忆的优化编码、存储、优先级、检索和安全性仍需进一步研究,以促进发展具有更复杂、类似人类记忆能力的 LLM 代理。这表明记忆机制是人工通用智能领域的重要前沿。
Dec, 2023
本研究介绍了一个新的长格式数据库问答数据集,旨在评估大型语言模型(LLMs)与 SQL 解释器的互动。研究发现即使对于最先进的 GPT-4 模型,这个任务也存在巨大挑战。我们提出并评估了两种互动策略,并对互动过程中的各个阶段进行了细致分析。一个重要发现是确定了两个主要瓶颈,即规划能力和生成多个 SQL 查询能力。为了解决准确评估答案质量的挑战,我们引入了一个多代理评估框架,模拟学术同行评审过程,增强了我们评估的精确性和可靠性。该框架使我们能够更加细致地了解当前 LLMs 在复杂检索和推理任务中的优点和局限性。
Nov, 2023
提出了一种新的 RET-LLM 框架,它为 LLMs 提供了一个通用的写 - 读内存单元,使它们能够从文本中提取、存储和检索知识,以便进行任务执行。通过 Davidsonian 语义理论,以三元组的形式提取和保存知识,在问答任务中展现出比基线方法更卓越的性能。此外,该框架在处理基于时间的问题回答任务时表现出了强大的性能,展示了它有效处理时态信息的能力。
May, 2023
Logic-LM 是一种将大型语言模型与符号推理相结合的框架,通过首先使用大型语言模型将自然语言问题转化为符号形式,然后进行确定性符号求解,以及自我精炼阶段来修正符号形式,在 ProofWriter、PrOntoQA、FOLIO 和 LogicalDeduction 等四个逻辑推理数据集上的结果表明,与仅使用大型语言模型相比,我们的方法可以显著提高逻辑推理的性能。
May, 2023
提出了 MemoryBank,这是一种采用 Ebbinghaus 遗忘曲线中的记忆更新机制的新型记忆机制,旨在解决长期交互中 LLM 的记忆缺陷问题,并通过与心理对话调整提高其同理心。通过实验研究,证明了 MemoryBank 能够成功提高聊天机器人在长期 AI Companion 中的表现能力。
May, 2023
提出了一种称为 TiM(Think-in-Memory)的新型记忆机制,通过保存后思考的思想作为历史记录,使得 LLMs 能够维护进化的记忆以存储历史思想,并且通过引入局部敏感哈希实现了对长期对话的高效检索,从而显著提升了现有 LLMs 在生成长期互动响应方面的性能。
Nov, 2023