Nov, 2023

童话问答：将常识知识图谱融入儿童故事书叙述

PDF
TL;DRAI 模型通过使用以叙述为基础的问答数据集来提供定制化问答功能，以支持面向儿童教育应用；然而，现有数据集仅包括基于故事内容的问答对，而当教师将故事内容与现实世界的知识（例如常识知识）进行关联时，儿童可以学到更多。我们引入了由儿童教育专家注释的 FairytaleCQA 数据集，用于补充 278 个故事叙述的教育适用的常识知识。该数据集包含 5,868 个问答对，不仅源自故事叙述，而且包含由外部知识图（即 ConceptNet）支持的常识知识。后续实验表明，使用 FairytaleCQA 对较小模型（T5-large）进行微调，可在新的问答对生成任务（QAG）中可靠地胜过更大的提示工程化语言模型（例如 GPT-4）。这一结果表明：1）我们的数据集给现有语言模型带来了新的挑战，2）人类专家的数据注释仍然至关重要，因为他们在儿童教育领域拥有着更多细微的知识，语言模型不知晓。
发现论文，激发创造
  • 神奇题目的去处：童话问答 —— 叙事理解的真实数据集

    提出了一个基于故事的问答数据集 FairytaleQA，用于评估和训练机器和儿童的叙事理解技能。该数据集由教育专家根据基于证据的理论框架生成，包括来自 278 个儿童友好的故事的 10,580 个问题，覆盖七种叙事元素或关系，并支持教育领域中的问题生成任务。通过与问题生成模型的基准测试，我们展示了在 FairytaleQA 上训练的 QG 模型能够提出高质量和更多样化的问题。

    Mar, 2022

  • FairytaleQA 翻译：在资源有限的语言环境中实现教育问题和回答生成

    通过机器翻译的方式，我们将著名的 QA 数据集 FairytaleQA 转化为其他语言，为了评估和提升儿童对于叙事理解的能力，我们利用经过微调的中等规模模型建立了这些翻译数据集的问答生成和问答任务基准，并通过质量度量标准如问题形式正确性、可回答性、相关性和适合儿童的度量对模型进行评估，同时优先考虑量化和描述错误案例，并提供未来工作的方向。本研究推动了少资源语言中 QA 和问答生成研究的进展，促进了阅读理解模型的开发中的可访问性和包容性。

    Jun, 2024

  • AI 向人类提问：儿童故事书问答生成

    我们设计了一种教育应用的问答生成自动化系统，可以为幼儿园到八年级的阅读材料生成测试学生理解能力的问题与答案对，并在自动评估和人工评估中证明其优于当前先进的问答生成基线系统。同时，我们还在此基础上开始构建一个交互式的故事讲述应用程序，用于未来在教育领域的实际部署。

    Sep, 2021

  • CR-LT-KGQA：一个需要常识推理和长尾知识的知识图谱问答数据集

    在知识图谱问答（KGQA）领域中，我们创建了一个新颖的 KGQA 数据集，支持常识推理并专注于长尾实体，这些实体是大语言模型容易产生错误信息的对象，因此需要借助知识图谱进行准确、可归因的常识推理。这个新数据集具有两个子任务：问题回答和声明验证。它对基于大语言模型的方法产生了显著的幻觉问题，为未来常识 KGQA 研究铺平了道路，以提供关于长尾实体的准确和可信的答案。

    Mar, 2024

  • CommonsenseQA：一个针对常识知识的问答挑战

    该论文提出了一个常识问答的新数据集 ——CommonsenseQA，并采用了多个目标概念，旨在提高常识推理的难度，在使用 BERT-large 作为基线方法的情况下，最佳准确率为 56%。

    Nov, 2018

  • 将上下文融入知识图谱以用于常识问答

    本文提出一种通过利用外部实体描述来为知识理解提供上下文信息的方法，将其作为预训练语言模型的附加输入，以解决知识图谱融合到语言建模中的问题，并获得了常识 QA 数据集中最先进的结果和 OpenBookQA 中非生成模型中最好的结果。

    Dec, 2020

  • 基于问题类型分布学习和事件中心摘要的儿童故事书教育问题生成

    本研究提出了一种基于事件中心摘要和先前训练的基于转换器的序列到序列模型，通过学习问题类型分布和事件摘要来生成具有高认知需求的故事问题，并在 FairytaleQA 数据集上取得了良好的性能。

    Mar, 2022

  • CCQA：用于模型预训练的新型 Web 规模问答数据集

    本文提出一种在 Common Crawl 项目的基础上，使用大规模、自然、多样化问答数据集进行领域内预训练的方法，该方法可以用于 open-domain question-answering 任务中的零样本、低资源和微调设置，展示了预训练在该任务中的潜力。

    Oct, 2021

  • 如何通过额外知识来提升自然语言常识问答能力？

    本文提出了将外部常识知识与语言模型相结合的方法，以提高多选题目中常识知识的应用。研究人员采用三种不同的知识插入策略和四种不同的问题 - 回答模型，分析预测结果并探索进一步改进的范围。

    Sep, 2019

  • mCSQA: 采用语言模型和人类统一创建策略的多语言常识推理数据集

    通过语言模型的构建过程，使用 LM 生成问题 / 答案、改进答案和验证 QA，然后减少人工验证的工作量，我们提出了 Multilingual CommonsenseQA（mCSQA），这是一个用于评估多语言 LM 的跨语言语言传递能力的基准数据集。实验结果表明，多语言 LM 在处理容易解决的问题时具有较高的语言传递能力，但处理需要深入知识或常识的问题时传递能力较低。这凸显了对语言特定数据集进行评估和训练的必要性，最后，我们的方法证明了多语言 LM 能够创建包含语言特定知识的 QA，与手动创建相比，显著降低了数据集创建成本。

    Jun, 2024