ICLRMar, 2024

ClimateQ&A： 架起气候科学家与大众之间的沟通桥梁

PDF
TL;DR该研究通过分析 ClimateQ&A 平台所问的问题，调查了公众对气候变化和生物多样性丧失的观点。研究发现，25.8% 的问题询问气候变化和生物多样性丧失对个人（例如居住地、度假地和消费习惯）以及个人行为（例如交通或食物选择）的具体影响。这表明传统调查方法可能无法确定所有现有的知识空白，并且仅依靠 IPCC 和 IPBES 报告可能无法回答公众关于气候和生物多样性的所有问题，可能影响公众对这些问题的理解和行动。
发现论文，激发创造
  • CausalQuest：为 AI 代理收集自然因果问题

    开发能够解决人类对因果性问题的 AI 代理的关键是建立一个全面的自然因果问题数据集。为了填补现有数据集的缺口，作者提出了 CausalQuest 数据集，该数据集包含了来自社交网络、搜索引擎和 AI 助手的 13500 个自然发生的问题。通过人工标注和大型语言模型的协作努力，研究团队成功标记了该数据集，并训练了高性能的因果问题分类器。未来的研究可以在这个数据集和模型的基础上展开。

    May, 2024

  • 评估潮起潮落：跨多个平台深度分析问答趋势

    本研究通过分析六个广受欢迎的 CQA 平台中的元数据、问题的表述以及用户之间的互动水平与首次回答问题所需的时间之间的相关性，并运用传统机器学习模型预测哪些问题将会迅速获得首次回复。

    Sep, 2023

  • CoQA: 一项面向对话的问题回答挑战

    本篇论文提出了一种建立对话式问答系统的新数据集 CoQA，包含来自七个不同领域的 8,000 个对话中 127,000 个具有答案的问题，分析表明，这些问题比现有的阅读理解数据集具有更多挑战性和难点，需要针对性的解决方案，评测结果显示目前最好的系统 F1 得分为 65.4％，仍然有大量的改进空间。

    Aug, 2018

  • 评价和改进知识图谱问答问题自然性的度量方法

    通过创建 IQN-KGQA 测试集，从五个角度对自然度的问题进行了评估并对其进行了改写，以改进自然语言处理中 KGQA 模型的性能并解决构建大规模 KGQA 数据集的挑战。

    May, 2022

  • 会话问答内容理解的实证研究

    该论文研究基于对话问答模型中标准数据集对模型的语义理解能力的反应度以及对话内容对模型回答问题的影响，并指出了 QuAC 和 CoQA 两个常用数据集的一些 潜在问题及其存在的偏见。

    Sep, 2019

  • 利用生成 NQ 类问题来改进问答

    本研究提出一种算法，利用数据集转换技术从长的 Trivia 问题转化为类似于日常人类交流的较短问题的方式，自动生成自然问题（NQ）数据集中的问题，同时使用神经分类器检测并去除不合法的问题，从而生成高质量的数据集，提高了 QA 表现，该算法在低资源环境下使用，扩展了 QA 系统的规模，同时保持了训练数据的质量。

    Oct, 2022

  • ClarQ：一个大规模且多样化的澄清问题生成数据集

    通过基于自监督的新型启动框架，从 stackexchange 中提取 post-comment 元组，利用神经网络分类器构建了一个多样化、大规模的澄清问题数据集。将该数据集应用于问题回答的下游任务的实验表明其效用，并放出名为 ClarQ 的含 173 个领域的 2M 个实例的数据集。其目的是促进澄清问题生成的研究，以提升对话和问题回答系统。

    Jun, 2020

  • 现代问答数据集和基准：一项调查

    本文调查了在深度学习时代发布的有影响力的问答数据集，并介绍了文本问答和视觉问答两个最常见的问答任务，涵盖了最具代表性的数据集，并提出了当前的一些 QA 研究挑战。

    Jun, 2022

  • BBQ: 一个手工制作的问答偏见基准

    该研究旨在通过提出一种基准数据集 —— 即 Bias Benchmark for QA（BBQ）来测试 NLP 模型的社会偏见。研究发现当上下文信息不充分时，模型通常依赖于固有的刻板印象，导致输出结果中仍存在有害偏见。同时，即便给出充分信息，模型依然受固有偏见的影响，在正确答案与社会偏见相冲突时的准确率差异可高达 5 个百分点。

    Oct, 2021

  • 众包多项选择题科学问题

    本文提出一种新的方法来从众包工作者那里获得高质量、针对领域的多项选择题，该方法通过利用大量的领域特定文本和一小部分现有问题，产生文档选择和答案干扰选项的模型建议，辅助人类提问生成过程。使用这种方法，我们已经组装了 13.7K 的多项选择科学考试题的 SciQ 数据集，并通过提供对这个新数据集的分析和展示人们无法区分众包问题与原问题，证明了这种方法可以产生领域内的问题。当将 SciQ 用作现有问题的附加训练数据时，在真实科学考试中观察到了准确度的提高。

    Jul, 2017