Mar, 2024

LocalRQA: 从生成数据到本地训练、测试和部署检索增强型问答系统

PDF
TL;DRRetrieval-augmented question-answering systems combine retrieval techniques and large language models, while LocalRQA is an open-source toolkit that supports customizing the model training, testing, and deployment process, achieving comparable performance to OpenAI's text-ada-002 and GPT-4-turbo.
发现论文，激发创造
  • 领域专属问答的检索增强生成

    为 Adobe 产品建立内部问答系统，提出了一种新的框架来编译大型问答数据库并发展了基于检索感知的大型语言模型微调方法，展示了微调检索器在最终生成中带来的重大改进，降低了生成过程中的幻觉并在上下文中保留了最新的检索信息以实现情境基础。

    Apr, 2024

  • 利用大型语言模型和检索加强生成来提高教科书问答任务

    该论文提出了一种利用检索增强生成技术和迁移学习来处理教科书问答中领域外情况的方法，以处理复杂的语境和多模态数据，并改善推理能力。通过对 Llama-2 模型进行监督微调和引入 RAG，我们的架构在非图表多项选择题中相较于基线模型，在验证集上精度提升了 4.12%，在测试集上提升了 9.84%。

    Feb, 2024

  • 为低资源语言构建高效高效的 OpenQA 系统

    在这篇论文中，我们展示了能够为低资源语言开发有效且成本低廉的 OpenQA 系统的关键要素，其中包括利用机器翻译标注数据的弱监督和目标语言中相关的非结构化知识源。我们以土耳其语为挑战性案例研究，通过 ColBERT-QA 对 SQuAD-TR 进行了调整来构建我们的 OpenQA 系统。在使用两个跨足两年的维基百科转储版本的基础上，我们与基于 BM25 和 DPR 的 QA 读取器模型相比，在 EM 得分上获得了 9-34% 的性能提升以及 F1 得分上的 13-33% 的性能提升。我们希望我们的结果可以鼓励研究人员在其他低资源语言中构建 OpenQA 系统，并将所有的代码、模型和数据集公开提供。

    Jan, 2024

  • ReQA: 面向端到端答案检索模型的评价

    本篇论文介绍了一个用于评估大规模句子级别答案检索模型的基准 Retrieval Question-Answering（ReQA），并使用神经编码模型和传统信息检索技术建立了基线。我们提供我们的评估代码以鼓励更多关于这一具有挑战性的任务的研究。

    Jul, 2019

  • ZusammenQA：专用模型数据增强的跨语言开放检索问答系统

    该论文提出了一种用于 COQA 多语言问题解答的系统，该系统使用多种模型变体在数据增强、语段检索和答案生成三个主要组件上进行了研究，并结合语言模型预训练和数据增强等方法有效提高了针对低资源语言的表现。

    May, 2022

  • MultiReQA：跨领域检索问答模型评估

    本文介绍了一个新的多领域检索问题回答（ReQA）评估套件 MultiReQA，使用两个监督性神经模型（基于精调的 BERT 和 USE-QA 模型）及一个信息检索基线 BM25 在基于句子的 QA 数据集上进行系统评估，结果表明，虽然存在覆盖所有领域的通用模型，但通常通过对特定领域训练来获得最佳性能。

    May, 2020

  • HiQA：一种用于大规模文档 QA 的层次上下文增强 RAG 模型

    这篇研究论文介绍了 HiQA，一种集成了层叠元数据和多路检索机制的高级多文档问答框架，并提出了用于多文档问答研究评估的基准 MasQA。该框架在多文档环境中展示了最先进的性能。

    Feb, 2024

  • 利用检索句子生成模板的方式提高无监督问答

    我们提出了一种无监督训练 QA 模型的方法，该方法使用生成的伪数据训练，为 QA 训练生成问题，通过对相关检索到的句子应用简单模板，而非原始上下文句子来实现，从而使模型能够学习更复杂的上下文问题关系。 使用这些数据训练 QA 模型可在 SQuAD 数据集上获得 14％的 F1 分数相对提高，并且在答案为命名实体时提高 20％，从而实现无监督 QA 的最新性能。

    Apr, 2020

  • PaperQA: 科学研究的增强检索生成代理

    使用 PaperQA，通过对科学文献进行信息检索，评估来源和段落的相关性，并利用 RAG 提供答案的方法，超越现有的 LLMs 和 LLM 代理在当前科学问答基准测试上的表现，使得该代理模型能够进行大规模、系统化的科学知识处理。

    Dec, 2023

  • 自适应 - RAG: 通过问题复杂性学习适应检索增强大型语言模型

    本研究提出了一个新颖的适应性问答框架，可以根据查询的复杂性动态选择最合适的策略，该策略可在回答问题时无缝地在迭代和单步检索增强型大型语言模型之间进行调整，同时适应多种查询复杂性，提高问答系统的效率和准确性。

    Mar, 2024