May, 2023

GripRank: 通过生成式知识改进的段落排序填补检索和生成之间的差距

PDF
TL;DR本文提出了一种名为 GripRank 的算法，它通过从一个生成式的通道评估器到一个通道排名器的知识精华的提炼来解决候选通道在检索过程中被平等对待的问题，并通过设计一套课程知识提炼机制来提升知识的提炼质量，实现了对答案的生成和文本排名的优化，最终在 KILT 基准测试中展现出优于同类方法的结果。
retrieval-enhanced text generationknowledge-intensive language tasksgenerative knowledge improved passage rankingdistillationkilt benchmark
发现论文，激发创造
  • 生成式检索中的学习排序

    提出了一个称为 LTRGR 的新框架，结合了生成式检索和经典的学习 - 排序模型，通过使用段落排名损失训练自回归模型，只需要额外的训练步骤即可增强当前的生成式检索系统，并在三个公共数据集上实现了最先进的性能。

    Jun, 2023

  • 蒸馏增强的生成式检索

    通过蒸馏技术，提出了一种名为 DGR 的可行框架，利用排名模型作为教师角色，通过专门设计的蒸馏 RankNet loss 来优化生成式检索模型，从而提升了当前生成式检索系统的性能。

    Feb, 2024

  • 利用生成模型结合段落检索进行开放域问答

    研究使用生成模型在开放领域问答中的表现，发现利用文本段落检索可以显著提高性能，证明生成模型擅长聚合和组合多个段落的证据，同时在 Natural Questions 和 TriviaQA 开放式基准测试中取得最好的结果。

    Jul, 2020

  • 生成式检索在百万篇章上的可扩展性？

    本文对生成式检索技术进行了第一次经验研究，通过使用合成查询作为文档表示进行索引，以及调整内部架构，探索了在不同语料库规模下扩展生成式检索的几个关键点，发现在小规模语料库上生成式检索和最先进的双编码器具有竞争力，但在数百万篇章的大规模语料库上实现可扩展性仍然是一个重要的未解决问题。

    May, 2023

  • 利用零样本问题生成技术提升段落检索效果

    本文提出一种简单有效的重新排序方法，利用预训练语言模型计算与检索的段落之间的关联度，从而提高开放式问题回答中的检索效果，并在多个数据集上进行了评估和实验，使得无监督和有监督的模型的检索准确率分别提高了 6-18% 和 12%。

    Apr, 2022

  • RnG-KBQA: 基于生成增强的迭代排名用于知识库问答

    RnG-KBQA 是一种排名和生成相结合的知识库问答方法，使用对比排名和生成模型来解决一些已有 KBQA 方法中面临的泛化和覆盖问题。实验结果表明，我们的方法在 GrailQA 和 WebQSP 数据集上获得了最新的最高表现，在没有预先训练的情况下也能够一定程度上泛化。

    Sep, 2021

  • 基于排名的生成模型在 [CLS] 任务中的应用

    本研究旨在重新审视信息检索的生成式框架，并比较其与基于语义相似性的判别式模型在答案选择任务上的表现。同时，还展示了非似然损失对信息检索的有效性。

    Oct, 2020

  • PReGAN：弱监督 GAN 答案导向的段落排名

    本文提出了一种名为 PReGAN 的基于生成对抗神经网络的段落重新排序方法，该方法在答案相关性鉴别器的基础上加入了一种答案可答性鉴别器，以更好地确定正确的答案相关段落，提高问答系统的效率，并且无需使用外部数据即可超越现有方法。

    Jul, 2022

  • 生成而非检索：大型语言模型是强大的上下文生成器

    本文提出了一种新的方法 GenRead，它使用大型语言模型生成上下文文档来解决开放领域 QA 等知识密集型任务，并且借助基于聚类的提示方法来选择不同的提示从而提高回收率，实验证明相比于传统的检索 - 阅读模型，这种方法有更高的准确性。

    Sep, 2022

  • 基于知识引导的开放领域问答中的文本检索和阅读

    本研究提出了一种基于知识库和相关文章文本联合的开放领域问答方法，通过检索和阅读一个包含文本段的图表结构，并采用跨相关段落传播信息的方式更新文本段落表示，从而在 WebQuestions、自然问题和 TriviaQA 三个任务的数据集上实现了 2-11% 的性能提升。

    Nov, 2019