我们基于材料学领域的 650 个具有挑战性的问题，对 GPT-3.5 和 GPT-4 模型在问答、零点提示和思维链激励下的表现进行了评估，并发现 GPT-4 的准确率最高（约为 62%），而与思维链激励相比，没有明显的准确率提高。通过错误分析，我们发现概念错误（64%）是改进语言模型表现的主要因素，而计算错误（36%）对 LLMs 性能的降低起到了次要作用。我们希望该工作中的数据集和分析能够促进材料科学领域特定 LLMs 的开发和信息提取策略的研究。

Aug, 2023

通过从科学文献中提取的信息，利用科学问答对生成的自动评估框架 SciQAG 表明，大型语言模型可用于从文献中提取关键知识的高质量科学问答对。

May, 2024

PubMedQA 是一个从 PubMed 文摘中收集的生物医学问答（QA）数据集，共有 1k 位专家注释，61.2k 未标记和 211.3k 人工生成的 QA 实例，其中每个实例包括一个问题、相应的摘要、一个长答案和一个总结性答案。采用 BioBERT 的多阶段微调方法，结合长答案单词统计做为额外监督，实现了 68.1% 的准确率，比人类单一表现的 78.0% 的准确率还有改进的空间。

Sep, 2019

介绍一个包含生产用户问题数据集的基于 WikiAnswers 平台的 ComQA 数据集，包含 11,214 个问题，涵盖了组成性的、时间推理和比较等不同挑战方面。该数据集通过大规模众包清理问题、分组和注释，以及分析数据集和现有系统对其的结果，对 QA 领域未来的研究提供了驱动作用。

Sep, 2018

为了增加推理能力，我们通过四个阶段的过程收集有超过 10,000 篇 CNN 新闻文章的人类生成的问题 - 答案对的数据集 NewsQA，该数据集超过 100,000 个 QA 对，由众包工人提供，答案包含想对应文章的文本内容片段。人类的表现比现有神经模型的性能更好，这表明未来的研究可以在 NewsQA 上取得显著的进展。

Nov, 2016

MoleculeNet 是一个大规模分子机器学习基准测试，为多种先前提出的分子特征化和学习算法提供高质量的开源实现，并证明了可学习的表示是分子机器学习的强大工具，但其性能受到数据稀缺和高度不平衡分类的影响，物理感知特征化的使用对于量子力学和生物物理数据集更为重要。

Mar, 2017

本文提出一个大规模的人工标注真实世界 QA 数据集 WebQA，通过序列标注模型将神经 QA 视为序列标注问题，与现有神经 QA 方法相比，性能大幅度提高，F1 得分为 74.69％。

Jul, 2016

TriviaQA 是一个具有挑战性的阅读理解数据集，包含超过 650k 个问题 - 答案 - 证据三元组，该数据集需要进行跨句子推理和包含看似复杂、组合式、句法和词汇变化巨大的问题，并提供了两种基线算法：基于特征的分类器和最先进的神经网络，它们在 SQuAD 阅读理解上表现良好，但都无法接近人类表现（23％和 40％与 80％），因此需要进一步的研究。

May, 2017

构建精确大规模的分子表示数据集，通过深度学习模型为药物发现的人工智能领域提供准确可靠的基准。

Jun, 2024

通过介绍一个名为 RepLiQA 的新测试数据集，本研究试图解决使用互联网数据进行大型语言模型评估时可能出现的问题，并通过对各种型号和规模的模型进行基准测试，揭示它们在不同情境条件下的性能差异。

Jun, 2024