Feb, 2024

PerLTQA: 一个个人长期记忆数据集，用于问题回答中的记忆分类、检索和合成

PDF
TL;DR该研究通过引入 PerLTQA 数据集，结合语义和经验记忆，包括世界知识、个人资料、社交关系、事件和对话，旨在调查个性化记忆在 QA 任务中的应用，强调了记忆整合在 QA 任务中的重要性。
发现论文，激发创造
  • 叙述 XL: 用于长期记忆模型的大规模数据集

    提出了一种通过 GPT 3.5 从 Project Gutenberg 中的书籍总结场景并创建阅读理解问题的方法，用于创建可以训练和评估长期记忆语言模型的数据集，并经过人工和模型的实验验证，证明该数据集可以诊断模型的记忆容量，并且不是现代语言模型的简单问题。

    May, 2023

  • MedREQAL: 通过问答方式检验大型语言模型对医学知识的记忆能力

    近年来，大型语言模型（LLMs）在大文本语料库的预训练过程中展示了令人印象深刻的知识编码能力。本研究通过构建一个新的基于系统评述的数据集，评估了六种 LLMs（如 GPT 和 Mixtral）在医学知识回忆方面的能力，并揭示了此任务的复杂性。

    Jun, 2024

  • 基于记忆增强的 LLM 个性化学习，短期和长期记忆协调

    通过使用参数高效的微调模式和计算仿生记忆机制，我们提出了一种新颖的个人化大语言模型方法，该方法在用户导向的生成任务中展示了卓越的效果和优越性能。

    Sep, 2023

  • 利用 QA-Memory 增强预训练语言模型以进行开放域问答

    本文提出了一种以问答对为基础的编码 - 解码模型，通过该模型的预训练策略，能够在单跳及多跳问题上达到强大性能，并进一步提高了对模型的解释和控制能力，缩小了与段落检索系统之间的性能差距。

    Apr, 2022

  • 长尾知识的自动问答生成

    通过预训练大型语言模型解决普适领域问答中的常见知识和罕见长尾知识学习难题，我们提出了一种自动生成专门用于长尾知识的问答数据集的自动方法，并展示了相关的研究挑战。通过预训练语言模型，在我们新生成的长尾问答数据集上进行了详尽实验，比较了其使用维基百科和维基数据知识图等外部资源的性能。

    Mar, 2024

  • 评估 LLM 代理商的非常长期对话记忆

    通过使用基于 LLM 的代理体系结构和将对话与人物和时间事件图进行关联，我们介绍了一个机器 - 人类管道来生成高质量的非常长期的对话，并通过人类注释者对其进行检验和编辑，以确保其长程一致性和对事件图的关联。通过这个管道，我们收集了一个包含 300 个回合和平均 9K 个记号的非常长期对话的数据集。基于该数据集，我们提出了一个全面的评估基准来衡量模型中的长期记忆，在问题回答、事件摘要和多模态对话生成任务方面。我们的实验结果表明，LLM 在理解冗长对话和理解对话中的长程时间和因果动态方面存在挑战。使用长上下文 LLM 或 RAG 等策略可以提供改进，但这些模型仍然远远落后于人类的性能。

    Feb, 2024

  • 利用大型语言模型和检索加强生成来提高教科书问答任务

    该论文提出了一种利用检索增强生成技术和迁移学习来处理教科书问答中领域外情况的方法，以处理复杂的语境和多模态数据，并改善推理能力。通过对 Llama-2 模型进行监督微调和引入 RAG，我们的架构在非图表多项选择题中相较于基线模型，在验证集上精度提升了 4.12%，在测试集上提升了 9.84%。

    Feb, 2024

  • 使用改进大型语言模型的可解释的长篇法律问题回答

    利用自然语言处理为法律文盲提供自动法律援助系统，该系统通过一种检索然后阅读的流程以生成对任何法定法律问题的长篇回答。

    Sep, 2023

  • MenatQA：用于测试大型语言模型的时间理解和推理能力的新数据集

    本论文通过构建 MenatQA 来评估大型语言模型（LLMs）在时间理解和推理能力方面的表现，并测试了不同参数大小的主流 LLMs。结果表明，大多数 LLMs 在处理不同程度的时间因素时不如更小的时间推理模型，并且对时间偏差的敏感度较高，且严重依赖于问题中提供的时间信息。此外，本文还探索了通过具体提示和外部工具来改进 LLMs 的潜在策略，为未来的研究提供了有价值的基准或参考。

    Oct, 2023

  • RepLiQA：用于评估 LLMs 在未见参考内容上的问答数据集

    通过介绍一个名为 RepLiQA 的新测试数据集，本研究试图解决使用互联网数据进行大型语言模型评估时可能出现的问题，并通过对各种型号和规模的模型进行基准测试，揭示它们在不同情境条件下的性能差异。

    Jun, 2024