ACLJun, 2024

通过合成对比论证的检索增强事实验证

PDF
TL;DR通过对比论证综合检索增强的事实验证 (RAFTS) 方法能有效检索相关文档作为证据，并从不同角度评估论证，结合信息丰富的上下文示例作为先验，能在没有复杂提示的情况下显著改善受监督和 LLB 基线，且在相对较小的 LLB 上表现超过基于 GPT 的方法。
misinformationlarge language modelsfact verificationevidence retrievalcontrastive arguments
发现论文，激发创造
  • 适应领域特定 RAG 的语言模型 RAF

    在这篇论文中，我们提出了一种名为检索增强微调 (RAFT) 的训练方法，它能够提高模型在领域内回答问题的能力，并处理无关文档干扰，从而提升大规模语言模型的性能。

    Mar, 2024

  • 重新寻求真相：多轮检索增强的大型语言模型是强大的假新闻检测器

    通过多轮检索策略从网络源自动抽取关键证据进行主张验证的检索增强 LLMs 框架是第一种能自动地并有目的性地从网页信息中提取关键证据的框架，通过在三个现实世界数据集上进行全面的实验证明了该框架对现有方法的优越性。重要的是，我们的模型不仅提供准确的结论，还提供可读的解释，以提高结果的可解释性。

    Mar, 2024

  • 评估检索增强型大型语言模型在科学文件推理中的有效性

    本研究通过关键字检索对多种大型语言模型进行评估，发现这些模型在科学文档推理任务中会使用编造的证据来支持预测，利用科学语料库进行预训练无法减轻证据捏造的风险。

    Nov, 2023

  • 基于自然语言逻辑的自回归多跳文档检索方法用于事实核查

    我们提出了一种基于自回归公式的检索和重新排序方法，该方法用自然逻辑为基础，使用证明系统动态终止检索过程，同时使用比竞争系统少 5 到 10 倍的记忆，对 FEVER、HoVer 和 FEVEROUS-S 等数据集具有与当前最先进方法相当的性能。

    Dec, 2022

  • 语言模型找到什么证据有说服力？

    本研究通过构建 ConflictingQA 数据集并进行敏感性和反事实分析，发现当前的检索增强语言模型（LLMs）在回答有争议问题时很大程度上依赖于网页与查询的相关性，而忽视了人类认为重要的文本特征，如文本是否包含科学参考文献或使用中性语调，这凸显了 RAG 数据集质量（如过滤信息错误）的重要性，甚至可能需要改变 LLMs 的训练方式以更好地与人类判断相一致。

    Feb, 2024

  • 大型语言模型中最小化事实不一致和幻觉

    提出了一个多阶段的框架，通过生成合理的依据并验证修正错误，将其作为支持参考生成答案，提高了 GPT-3.5-turbo 在生命科学行业药物相关查询中的响应质量。该框架使得 GPT-3.5-turbo 对两个数据集的答案更可靠和准确，并通过与商业模型进行竞争，提高了小型开放访问的 LLMs 的准确性。

    Nov, 2023

  • 摘要、理论基础和立场：科学主张验证的联合模型

    提出了一种基于机器阅读理解框架的 ARSJoint 方法，该方法可以联合学习三个任务模块，包括论文摘要检索、理由选择和立场预测，并通过提出在摘要检索的句子注意力分数和理由选择的预测输出之间的正则化项增强任务之间的信息互换和约束，实验结果在 SciFact 数据集上表现优异。

    Sep, 2021

  • RerrFact: 用于科学论述验证的减少证据检索表示

    通过提取和融合来源摘要的相关证据理由，提出了一种调用二分类序列逐个进行预测子任务的模块化方法，从而实现科学主张的自动验证，包括验证支持和反驳证据，该方法名为 RerrFact，并平台竞争 SciFact 排行榜。

    Feb, 2022

  • 检索重构：大规模语言模型推理

    本文提出了一种名为 'rethinking with retrieval' (RR) 的后置处理方法，借助 'chain-of-thought' (CoT) 提示中的分解推理步骤检索相关的外部知识，从而改善大语言模型在常识推理、时间推理和表格推理等方面的性能。

    Dec, 2022

  • 利用细粒度反馈的强化检索在黑箱 LLM 中验证新闻断言

    使用黑盒语言模型的精细反馈和增强检索，增强了新闻索赔事实验证的结果，并在真实世界的数据集上显著改进了强大的语言模型和非语言模型基线。

    Apr, 2024