Feb, 2024

研究问题：一个针对 LLM 网络代理的多角度、分解问题的数据集

PDF
TL;DR这篇研究论文介绍了一种基于搜索引擎日志的、具有多角度和非事实性问题的数据集，该数据集对于最强大的大型语言模型来说具有挑战性，并展示了对这些问题进行分解和替代回答技术的好处。
question answeringlarge language modelsnon-factoid questionsmulti-perspective questionsresearchy questions
发现论文，激发创造
  • RepLiQA：用于评估 LLMs 在未见参考内容上的问答数据集

    通过介绍一个名为 RepLiQA 的新测试数据集，本研究试图解决使用互联网数据进行大型语言模型评估时可能出现的问题，并通过对各种型号和规模的模型进行基准测试，揭示它们在不同情境条件下的性能差异。

    Jun, 2024

  • 不懂得如何提问的人：为数码新手搭建一个关于科技问题的数据集

    通过创建一个数据集，该数据集收集了一对一辅导过程中的数字新手和外行人的问题，本文介绍了计划中的努力和该数据集的潜在用途。

    Mar, 2024

  • 朝着全面答案更近一步：使用大型语言模型进行约束的多阶段问题分解

    通过引入 “分解和查询”(D&Q) 框架，使得大规模语言模型在回答问题时能够避免幻觉，通过引导模型思考并利用外部知识，同时限制其思考范围在可靠信息内，从而有效减轻了幻觉的风险。实验证实了 D&Q 的有效性：在我们的 ChitChatQA 数据集上，D&Q 在 67％的情况下不输给 ChatGPT；在 HotPotQA 的仅问题设置下，D&Q 获得了 59.6％的 F1 得分。我们的代码可在此 https URL 找到。

    Nov, 2023

  • QA 数据集爆炸：问答和阅读理解的自然语言处理资源分类

    本文回顾了近年来深度学习模型在自然语言处理中的研究，并着重探讨了问题回答和阅读理解方面逾 80 种新数据集。除此之外，对现有各种格式和领域的资源进行了总结，并提出了新的技能分类法以及对过度专注于英语的影响。最后旨在为从业者和研究人员提供指引。

    Jul, 2021

  • 一个问题分解单元就足够了吗？

    研究者们探讨了一种新的方法通过人在内的 NLP 研究，在不建立新模型的情况下，通过将数据分解为模型更易于回答的一系列简单问题来提高模型性能，证明了这种方法的可行性，可以作为建立大型语言模型的替代方案。

    May, 2022

  • ComQA: 一个社区资源的复杂事实问题问答数据集，包含释义聚类

    介绍一个包含生产用户问题数据集的基于 WikiAnswers 平台的 ComQA 数据集，包含 11,214 个问题，涵盖了组成性的、时间推理和比较等不同挑战方面。该数据集通过大规模众包清理问题、分组和注释，以及分析数据集和现有系统对其的结果，对 QA 领域未来的研究提供了驱动作用。

    Sep, 2018

  • 现代问答数据集和基准：一项调查

    本文调查了在深度学习时代发布的有影响力的问答数据集，并介绍了文本问答和视觉问答两个最常见的问答任务，涵盖了最具代表性的数据集，并提出了当前的一些 QA 研究挑战。

    Jun, 2022

  • ReviewQA：一个基于关系和方面的意见阅读数据集

    本文介绍了一种基于酒店评论的问题回答数据集 ReviewQA，旨在评估模型的关联理解和能力，并提供了几种基线模型的实现。

    Oct, 2018

  • 一个基于研究论文的信息查找问题和答案数据集

    本文介绍了 QASPER（一个基于自然语言处理论文的问题数据集），旨在提醒需要收集反映多部分论文主张的复杂推理难度的数据，以利于构建支持文档查找的问答系统。

    May, 2021

  • 以 Web 为知识库回答复杂问题

    本文提出一种新的框架，用于回答复杂问题，即将复杂问题分解成一系列简单问题，并从这些答案中计算出最终答案。实证结果表明，问题分解将在新数据集上将性能从 20.8 提高到 27.5。

    Mar, 2018