question answering dataset | BriefGPT

关键词question answering dataset

搜索结果 - 8

MoleculeQA：评估分子理解的事实准确性的数据集
MoleculeQA 是一个用于分子研究的新型问题回答数据集，通过在每个问答对中提供手动问题、一个正选项和三个负选项，并与权威的分子语料库中的分子描述具有一致的语义，首次评估了现有分子语言模型在分子事实方面的准确性，并揭示了其中的不足之处和
PDF4 months ago
LLM 中能否生成与文化相关的常识问答数据？印尼文和巽他语案例研究
使用大型语言模型生成问题回答数据集，尤其是针对低资源语言，存在领域知识和文化细微差别的困难；实验证明最佳的大型语言模型 GPT-4 Turbo 能够生成具备充分知识的印度尼西亚语问题，但在苏丹尼斯语上表现欠佳，凸显中资源语言与低资源语言之间
PDF4 months ago
FormulaQA：一个基于公式的数值推理问答数据集
通过使用存在的公式驱动的 FormulaQA 数据集，得出了使用检索增强的 LLMs 模型结合外部公式数据库时对现有模型具有重要改进潜力的实证结果。
PDF4 months ago
EMNLPPOSQA：使用大小比较来探究 LLMs 的世界模型
通过提出 POSQA 数据集，我们研究了最新的大型语言模型的体现性理解，并发现即使是目前最大的语言模型在零样本设置下表现不佳，进一步通过高级提示技术和外部知识增强来提升它们的性能。我们调查了他们对真实世界理解的主要来源以及提示格式的影响，结
PDF8 months ago
EMNLP压缩语言模型中预训练数据量的重要性
我们研究了预训练数据量对紧凑型语言模型的影响。我们发现，即使只有 100MB 的预训练数据，通过在法语问答数据集（FQuAD）上微调 BERT 模型，都可以得到表现很好的模型。此外，我们还展示了，除了任务特定的语料库，中等数量的预训练数据并
PDF4 years ago
ProtoQA: 一个面向原型常识推理的问答数据集
本文介绍了一个新的问答数据集，用于训练和评估人工智能系统在典型情况下的常识推理能力，数据集采用了家庭智慧问答秀中的问题集合，模型评估使用了生成式评估任务，并在多个基线模型中提出了挑战性的性能评估。结果表明，人类表现仍然超过模型成绩，支持任务
PDF4 years ago
ACLTyDi QA: 基于语言类型多样性的信息搜索问答基准
我们提出了 TyDi QA—— 一个问答数据集，涵盖 11 种语言，并进行数据质量的量化分析和例级定性语言分析，以提供有关多语言建模的有挑战性和值得信赖的评估。
PDF4 years ago
ACL自动问题生成的跨语言训练
研究了如何使用在次语言上的问题生成数据集来学习主要语言的问题生成模型，提出了一种跨语言问题生成模型的联合训练方法，使用 Hindi 和中文两种主要语言的数据集进行实验，获得了理想的效果，并创建并发布了一个新的 Hindi 问答数据集。
PDF5 years ago