Jun, 2024

Fetch-A-Set：一个大规模的无 OCR 历史文档检索基准

PDF
TL;DR这篇论文介绍了 Fetch-A-Set（FAS），它是为历史文献分析系统量身定制的综合基准，解决了历史背景下的大规模文档检索的挑战。该基准包括一个庞大的文档存储库，追溯到 17 世纪，既可以作为培训资源，也可以作为检索系统的评估基准。它填补了现有文献中的一个关键空白，侧重于文化遗产领域内的复杂提取任务。该基准解决了历史文献分析的多方面问题，包括用于查询的文本到图像检索以及从文档片段中提取图像到文本主题，同时适应不同程度的文档可读性。该基准旨在推动该领域的进步，为开发和评估稳健的历史文档检索系统提供基准和数据，特别是在具有广泛历史背景的场景中。
发现论文，激发创造
  • UDA：一套用于现实世界文档分析中检索增强生成的基准测试套件

    通过引入一个包含 2965 个真实世界文档和 29590 个专家注释的问答对的基准测试套件，我们重新审视了解析数据和检索的设计选择以及多个文档领域和不同查询类型中答案质量的流行的 LLM 和 RAG 解决方案，我们的评估得出了有趣的发现，并强调了数据解析和检索的重要性。

    Jun, 2024

  • 一种灵活框架的零样本文档级问答检测、检索和理解

    本文提出了一种三阶段文件 QA 方法，包括从 PDF 中提取文本，从提取的文本中检索证据以形成良好的上下文，以及从上下文中提取 3 种类型的知识（抽取式、生成式或布尔式）。通过对 QASPER 的评估，DRC 系统在交付更优的上下文选择的同时，Answer-F1 达到了 +7.19 的提高。结果表明，DRC 在科学文献 QA 中有很大的亮点。

    Oct, 2022

  • 用于事实验证的数据高效自回归文档检索

    本文介绍了一种不需要标注的远程监督方法，可用于训练自回归召回器，以在零样本环境中获得竞争性召回率和精确率。此外，通过针对特定任务的监督微调，展示了利用少于 1/4 注释数据的情况下，基于 Wikipedia 的事实验证任务的自回归检索性能可以接近甚至超过全监督。这指出数据有效的自回归检索存在着可行的方向。

    Nov, 2022

  • 通过可靠和时间感知的证据检索改善健康问题回答

    利用 PubMed 作为可靠的医学研究文档集合，针对开放领域的问答设置，研究通过修改检索设置来提高问答系统性能的方法。结果显示，减少检索到的文档数量，偏爱近期和被引用次数较多的文献可以提高最终的宏观 F1 得分达到 10%。

    Apr, 2024

  • 从生物医学文献中进行大规模知识综合和复杂信息检索

    本研究采用知识综合、段落检索、三元组检索和复杂问答等方法，构建一个可扩展的解决方案，以有效地从大规模研究文档中提取和探索复杂信息，以解决医疗保健行业面临的大量非结构化数据的问题，并在 COVID-19 数据集上进行了定性评估以证明其有效性。

    Feb, 2023

  • 基于查询聚焦的多文档概括及远程监督

    本研究提出了一种基于问题回答的粗糙到精细的建模框架，用于解决过去在建立查询与文本段之间关联性上面的问题，并在标准 QFS 基准测试中表现优异。

    Apr, 2020

  • 利用信息提取和压缩进行大规模多文档摘要

    开发了一种基于抽象的总结框架，适用于多个异构文档，该框架独立于标记数据。 与现有的多文件总结方法不同，我们的框架处理讲述不同故事的文档，而不是同一主题的文档。 最后，我们基于 CNN / Daily Mail 和 NewsRoom 数据集构建了总共十二个数据集变体，其中每个文档组都包含大量且多样化的文档，以评估我们的模型与其他基线系统的性能。 我们的实验表明，我们的框架在这种更通用的情况下胜过了现有的最先进方法。

    May, 2022

  • 一种基于语义块的高效粗细粒度感知无监督摘要生成框架

    提出了一种基于语义块和效率的分层多粒度两阶段排序的无监督长文档摘要方法 C2F-FAR，可以在 Gov-Report 和 BillSum 数据集上获得新的最先进的无监督摘要结果，并且比之前的方法速度提高了 4-28 倍。

    Aug, 2022

  • 复杂答案检索基准

    介绍了用于填充维基百科文章的 TREC CAR 赛道，提供使用信息检索方法，查询扩展和深度神经网络等一系列系统解决这一难题的早期结果以帮助未来参与者。

    May, 2017

  • R$^2$F: 一个面向文档级自然语言推理的通用检索、阅读和融合框架

    本论文提出了 R2F 框架来解决 DOCLNI 的主要挑战：可解释性、长跨度依赖和跨句子推理，并支持多样化的证据检索方法，为每个假设语句从前提中检索出相应的证据语句并进行可信度评估，最后将句子级的结果融合来判断文档之间的关系，实验结果表明 R2F 框架可以获得最先进的性能，而且可以给出更可解释的预测结果。

    Oct, 2022