EMNLPOct, 2022

检索增强通识推理：一种统一方法

PDF
TL;DR本文提出了一种统一的基于检索增强的通识推理框架（RACo），包括一个新构建的包含 2000 万个文档的通识语料库和训练通识检索器的新策略。对四个不同的通识推理任务进行的广泛评估结果表明，我们提出的 RACo 可以显著优于其他知识增强方法的竞争者，在 CommonGen 和 CREAK 排行榜上取得了新的 SoTA 性能。
发现论文，激发创造
  • 检索增强型通识生成模型

    采用检索方法增强先前训练和微调，提出了一种新的框架用于增强常识生成，通过原型句子候选集，进一步使用可训练的句子检索器提高其性能，并在大规模 CommonGen 基准测试上实现了最新的最优结果。

    May, 2021

  • 多模式检索增强生成式常识推理

    提出了一种新颖的多模式检索 (MORE) 增强框架，利用文本和图像来增强语言模型的常识能力。在 Common-Gen 任务上的大量实验表明，MORE 基于单一和多模态的预训练模型具有较高的效果。

    Feb, 2024

  • COFAR: 图像搜索中的常识和事实推理

    通过 KRAMT 框架结合图像与查询语言以期在图像搜索中启用常识和事实推理，其检索性能在新数据集 COFAR 上得到评估与相关方法进行比较。

    Oct, 2022

  • RAR-b: 推理作为检索的基准

    通过将推理任务转换为检索任务，我们发现，即使没有针对推理级别的语言理解进行专门训练，目前最先进的检索模型在协助 LLMs 的角色上可能仍然远离胜任，特别是在推理密集型任务中。然而，最近基于解码器的嵌入模型在弥合这一差距方面表现出巨大潜力，突显了嵌入模型实现推理级别语言理解的路径。通过微调重新排序模型将推理能力注入其中似乎比对双编码器进行类似操作更容易，我们能够在所有任务中通过微调重新排序模型实现最先进的性能。我们发布由整体任务和设置组成的推理作为检索基准（RAR-b），用于评估检索模型中存储的推理能力。

    Apr, 2024

  • 一种基于预备知识库的常识推理教授预训练模型的初步方法

    通过利用 ConceptNet 中的结构化知识，构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练，我们提出了一种简单而有效的方法来教授预训练模型常识性推理，实验结果表明，这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升，特别是在少样本学习设置下。

    Sep, 2019

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023

  • 基于图形迭代检索多个知识源来提高常识问答

    该研究提出了一种将多种知识源集成起来的问题回答方法，着重利用基于图的迭代知识检索模块和答案感知的注意机制，从多个知识源中检索和综合背景知识，并在 CommonsenseQA 数据集上实现了最优的表现。

    Nov, 2020

  • 检索遇见推理：即使高中教科书知识也有益于多模态推理

    通过引入一种名为 RMR 的新型多模式 RAG 框架，本研究在多模式视觉语言模型中整合了基于检索的答案生成和推理能力，并通过提供相关问答对进行训练来显著提高各种基准数据集上的性能，凸显该框架在改善视觉语言模型的推理能力方面潜力巨大。

    May, 2024

  • 常识推理的简单方法

    本文提出一种使用无监督学习、基于语言模型的神经网络常识推理的简单方法，通过对大量未标记数据的训练，优化单选题的得分，获得了很好的测试成绩，没有使用昂贵的注释知识库或手工特征工程。

    Jun, 2018

  • 如何利用通用常识本体提升基于学习的图像检索性能

    本文探讨了如何利用 MIT 的通用本体库 ConceptNet，改进最新视觉系统的性能，实验表明，通用常识本体库可以通过过滤选择有意义的视觉关系，提升视觉推理任务的表现。

    May, 2017