Nov, 2023

序列重要性：构建对话代理的生成 - 检索 - 生成模型

PDF
TL;DRTREC iKAT 2023 挑战中，本文使用 Generate-Retrieve-Generate 方法，利用大型语言模型（LLMs）进行答案生成与理解，通过 BM25 进行答案连贯性过滤，实现更高的性能表现。
trec ikat 2023generate-retrieve-generate methodlarge language modelsbm25text understanding
发现论文，激发创造
  • 利用大型语言模型增强企业知识库的问答能力

    通过使用大规模语言模型（LLMs），我们提出了一种名为 EKRG 的新型检索 - 生成框架，以极低的注释成本实现了企业知识库的问答。通过独特的指令调优方法和针对连贯性思维的微调方法，我们的框架在真实世界数据集上进行了广泛实验，并取得了显著的有效性。

    Apr, 2024

  • 生成而非检索：大型语言模型是强大的上下文生成器

    本文提出了一种新的方法 GenRead，它使用大型语言模型生成上下文文档来解决开放领域 QA 等知识密集型任务，并且借助基于聚类的提示方法来选择不同的提示从而提高回收率，实验证明相比于传统的检索 - 阅读模型，这种方法有更高的准确性。

    Sep, 2022

  • 基于排名的生成模型在 [CLS] 任务中的应用

    本研究旨在重新审视信息检索的生成式框架，并比较其与基于语义相似性的判别式模型在答案选择任务上的表现。同时，还展示了非似然损失对信息检索的有效性。

    Oct, 2020

  • 面向知识密集任务的统一语言模型：利用外部语料库

    该研究论文介绍了一种统一的语言模型，通过将生成检索、闭书生成和 RAG 有机地结合，利用外部语料库处理各种知识密集型任务。该模型通过引入不同机制实现了有效的检索和生成，并在广泛使用的 KILT 基准测试中展现了出色的性能。

    Feb, 2024

  • 检索与精炼：用于对话的改进序列生成模型

    本研究发展了一种融合了两种不同方法的模型，能够检索出机器人回答，并将其作为附加语境进行精细调节，从而产生了更准确、更生动、更吸引人的回答。在最近的 CONVAI2 挑战评估中，该模型在人类评估中明显优于传统的检索和生成模型。

    Aug, 2018

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023

  • 基于知识的文本生成中的对话型大型语言模型的比较分析

    通过对四个不同大小的大型语言模型以及不同提示技术的比较和基准实验分析，我们发现对于从语义三元组生成自然语言文本，少量示范、后处理和高效微调技术可以显著提高大型语言模型的能力，尤其对于表现出低零样本性能的较小模型。

    Feb, 2024

  • 基于生成检索增强的本体图和多智能体策略的解释性大型语言模型材料设计

    使用 Transformer 神经网络和大型语言模型进行材料分析、知识生成和力场开发的研究。

    Oct, 2023

  • 知识密集型多步问题的交错检索与思维链推理

    提出了 IRCoT 方法，在多步 QA 过程中使用检索和 CoT 交替进行，同时使用检索的结果来改善 CoT。在 HotpotQA、2WikiMultihopQA、MuSiQue 和 IIRC 四个数据集上，使用 IRCoT 方法取得了显著的检索和 QA 性能改进，即便是在小型模型 T5-Flan-large（0.7B）上也能奏效。

    Dec, 2022

  • 探索检索器和大型语言模型的整合策略

    本文旨在研究不同的方法将检索到的段落与大型语言模型相结合，以提高答案生成能力，并通过综合分析和实验证明了有效利用检索到的段落来增强大型语言模型答案生成能力的见解。

    Aug, 2023