Apr, 2024

MemLLM: 对 LLMs 进行精调，使用显式读写内存

PDF
TL;DR我们介绍了 MemLLM，这是一种通过整合结构化且显式的读写内存模块来增强 LLMs 的新方法。 MemLLM 通过使内存与 LLM 的动态交互，改善了 LLM 在使用存储的知识方面的能力，从而解决了上述挑战。我们的实验结果表明，MemLLM 提高了 LLM 的性能和可解释性，尤其是在语言建模和知识密集型任务中。我们认为 MemLLM 是使 LLMs 通过内存增强更加扎实和事实准确的重要一步。
large language modelsparametric memorizationhallucinationparametric memory poolsmemllm
发现论文，激发创造
  • RET-LLM：面向大型语言模型的通用读写内存

    提出了一种新的 RET-LLM 框架，它为 LLMs 提供了一个通用的写 - 读内存单元，使它们能够从文本中提取、存储和检索知识，以便进行任务执行。通过 Davidsonian 语义理论，以三元组的形式提取和保存知识，在问答任务中展现出比基线方法更卓越的性能。此外，该框架在处理基于时间的问题回答任务时表现出了强大的性能，展示了它有效处理时态信息的能力。

    May, 2023

  • 记忆 ³：带显式记忆的语言建模

    利用显式记忆将大型语言模型（LLMs）的训练和推理成本降低，实现更小的参数大小、训练成本和推理成本，从而传递意义的计算。

    Jul, 2024

  • MEMORYLLM: 迈向自我可更新的大型语言模型

    MEMORYLLM 是一个自我更新且具有信息记忆能力的模型，它通过在 transformer 的潜在空间中引入固定大小的内存池，能够有效地整合新知识并保持长期信息记录能力，同时维持操作性完整性。

    Feb, 2024

  • 基于记忆增强的 LLM 个性化学习，短期和长期记忆协调

    通过使用参数高效的微调模式和计算仿生记忆机制，我们提出了一种新颖的个人化大语言模型方法，该方法在用户导向的生成任务中展示了卓越的效果和优越性能。

    Sep, 2023

  • 增强 LLM 智能：借助 ARM-RAG 进行辅助理由记忆以提高检索增强生成

    本文介绍了通过使用 Retrieval Augmented Generation（RAG）来改善问题求解性能的 ARM-RAG（Auxiliary Rationale Memory for Retrieval Augmented Generation）系统，并展示了存储和检索推理链对于小学数学问题的性能具有积极影响。

    Nov, 2023

  • 当不应信任语言模型：探究参数式与非参数式记忆的有效性和局限性

    此论文通过在新的问题 / 答案（QA）数据集 PopQA 上对 10 个模型和 4 种增强方法进行大规模的知识探测实验，旨在了解大型语言模型 (LMs) 在记忆事实知识方面的优劣，发现 LMs 在纽约市场上的市场地位相对较低，而检索增强的 LMs 在不需要检索的情况下可以显著地改善性能，并降低推理成本。

    Dec, 2022

  • 带参数化内存注入的个性化 LLM 响应生成

    本研究提出了一种使用参数高效微调和贝叶斯优化搜索策略的记忆注入方法来实现大型语言模型的个性化响应生成 (MiLP)。

    Apr, 2024

  • 通用大型语言模型中的记忆化

    大型语言模型在记忆方面的挑战和机会，包括隐私、安全、版权等问题，并提出目前的研究方向。

    Oct, 2023

  • 可靠、适应性强、可归因的检索式语言模型

    通过在推理过程中引入大规模数据存储，检索增强的语言模型（retrieval-augmented LMs）可以更可靠、适应性更强且更具可追溯性，然而目前在超越知识密集型任务（如问答）以外的领域，检索增强的语言模型尚未被广泛采用，这需要重新考虑数据存储和检索器、改进检索器和语言模型组件之间的交互以及在高效训练和推理方面进行大规模投资。

    Mar, 2024

  • LLaMP: 用于高保真材料知识检索和蒸馏的大型语言模型

    在科学领域，LLMs 的幻觉问题是必须解决的，因为可重现性是至关重要的。本文介绍了 LLaMP，这是一个多模态检索增强生成（RAG）框架，由多个数据感知推理和行动（ReAct）代理组成，动态与 Materials Project（MP）上的计算和实验数据交互。LLaMP 在不进行精细调整的情况下，能够理解和整合各种材料科学概念的多模态信息，实时获取相关数据，处理高阶数据（如晶体结构和弹性张量），并对固态合成的多步骤过程进行总结。同时，LLaMP 能有效纠正 GPT-3.5 在频繁文档中的带隙和形成能量方面的错误，并将钻立方硅结构的虚幻体积应变从 66.3％降低到 0。该框架为材料信息学提供了一种直观且几乎无幻觉的方法，并为知识蒸馏和精细调整其他语言模型奠定了基础。我们设想该框架作为科学假设的有价值组成部分，并为未来的自主实验室奠定基础，多个 LLM 代理与机器人通信和协作，驱动材料合成和化学反应，无需硬编码的人类逻辑和干预。

    Jan, 2024