Jul, 2023

KoRC：面向深度文本理解的知识导向阅读理解基准

PDF
TL;DR利用大量知识库指导注释者或大型语言模型构建知识型问题，采用知识库中的标签作为最终答案，验证了目前最强基准模型在处理深入文本理解方面的性能仍然相对较低。
deep text understandingknowledge basesbenchmarkanswer formatexperimental results
发现论文，激发创造
  • 评估机器阅读理解数据集的基准测试能力

    本篇研究提出了一种半自动化的消融实验方法，通过检查即使除去与语言理解相关的特征后是否仍然能回答问题，来评估语言理解能力挑战数据集的性能，实验结果表明，很多问题并不需要语法复杂的推理，为了精准评估 MRC 数据集，需要在设计时额外注意。

    Nov, 2019

  • KoLA：大型语言模型世界知识的精细基准测试

    我们构建了一种基于知识导向的大型语言模型评估基准，并通过使用维基百科和不断收集出现的语料库来确保数据的公正比较，评估 21 个开源和商业大型语言模型的能力和知识相关度。

    Jun, 2023

  • KorQuAD1.0：针对机器阅读理解的韩文问答数据集

    该研究介绍了韩语问答数据集（KorQuAD），这是一个用于机器阅读理解的大型韩语数据集，有助于自动回答语音机器人和自动化客户支持系统的开发。

    Sep, 2019

  • Quoref：一个需要共指推理的阅读理解数据集

    提供一个新的众包数据集，用于多句理解文本，涉及复杂的指代消解，旨在评估阅读模型解决指代消解的能力，与现有的基准模型相比，该模型表现显著更好。

    Aug, 2019

  • 机器阅读理解的基准评测：心理学视角

    该论文提出了基于心理学和心理测量学的 MRC 数据集设计理论基础，要求未来的数据集应该评估模型构建上下文相关情境的合理和连贯的表示能力，并通过防止捷径的问题和解释来确保实质性有效性。

    Apr, 2020

  • ORB: 一个开放的阅读基准评估工具，用于机器阅读理解的全面评估

    介绍了一种评估服务器 ORB，可以测试模型在 7 个不同的阅读理解数据集上的表现，并且没有制约模型训练的限制，这是一个探索通用阅读能力的训练范式和表征学习的测试平台。

    Dec, 2019

  • 机器阅读理解模型鲁棒性基准测试

    本文提出了一个新的基准数据集 AdvRACE，用于测试机器阅读理解模型在模拟的并非完全准确的测试环境下的鲁棒性，通过提供不同类型的对抗攻击测试，包括基于新的分散干扰的抽取和生成攻击，并表明现有的最先进模型都非常容易受到这些攻击的影响。

    Apr, 2020

  • mOKB6：一个多语言的开放知识库完整性评测基准

    利用跨语言的开放信息提取的最新进展，通过多语言代词消解和保留仅有实体链接三组，构建了第一个含有六种语言的全面的开放式知识库 (mOKB6)，并通过基线模型的实验进行分析。

    Nov, 2022

  • IIRC：一个包含不完整信息阅读理解问题的数据集

    本研究提供了一个名为 IIRC 的数据集，其中包含超过 13K 个来自英文维基百科段落的问题，并且这些问题只提供了部分信息以回答，丢失的信息出现在一个或多个链接的文档中。使用众包工作者编写问题，使得此数据集中的问题与答案出现的上下文表述差异大，包括许多需要离散推理的问题，难度较高。通过构建一种基准模型评测模型在该任务上的表现，本研究发现，该模型在 F1 得分上的表现为 31.1％，而人类性能则为 88.4％。

    Nov, 2020

  • R4C: 评估 RC 系统以获得正确答案的基准

    该研究介绍了一种新的阅读理解测试方法 R4C，其通过要求 RC 系统能够给出不仅是答案还包括对答案进行解释的推导，解决了当前数据集中的注释偏差和其他偏差可以影响数据集的问题。研究人员使用可靠的众包框架对 RC 数据集进行批量注释，创建并公开了 R4C 数据集，该数据集包含 4.6k 个问题，每个问题有 3 个参考推导（即 13.8k 个推导）。实验证明，使用多个参考推导的自动评估指标是可靠的，并且 R4C 可以评估不同于现有基准测试的技能。

    Oct, 2019