Oct, 2022

为支持空间科学与工程质量管理与保障培训生成测验

PDF
TL;DR本文提出了一个系统，可以从关于太空质量保证程序的文档中生成测验，以评估培训效果。该系统利用了 T5 和 BART 等最先进的自回归模型来生成问题，并使用 RoBERTa 模型提取答案，从而验证问题的适用性。
quality managementspace agenciestraining sessionsauto-regressive modelsroberta model
发现论文，激发创造
  • SpaceQA: 关于太空任务和航天器概念设计的问题回答

    介绍了 SpaceQA，这是目前为止首个用于太空任务设计的开放域问答系统，并采用密集检索器和神经读取器的最先进架构，使用基于迁移学习的方法，证实了在领域特定标注数据缺乏的情况下优于微调。测试结果表明，系统能够更好地满足欧洲航天局信息共享和重复利用的需要。

    Oct, 2022

  • 测验设计任务：帮助教师使用自动化题目生成器创建测验

    本篇研究旨在利用标准化的 NLG 指标来检测 QGen 模型所带来的实际效果，并以教师自动生成阅读理解测试为例进行实际应用测试。虽然我们发现近期 QGen 取得了显著进展，但最佳模型仅得到了 10 名教师中的 68.4％同意接受的问题，同时也发现需要新的自动度量标准来指导 QGen 研究前进。

    May, 2022

  • 用科学文本进行预训练，提高教育问题生成质量

    本研究基于大型语言模型开发了 EduQG，该模型能够自动生成出优质的教育问题，以实现在数字化教育材料和可扩展的 e-learning 系统背景下的 AI 协助个性化学习。

    Dec, 2022

  • SEC-QA: 金融问答的系统评估语料库

    金融数据分析中普遍面临的挑战是找到能准确反映实际任务用于模型评估的数据集，作者提出了一种连续的数据集生成框架 SEC-QA，在这个框架中，提供了两个重要功能，分别是跨多个长文本金融文件生成问题 - 答案 (QA) 对，以更好地代表真实世界金融场景，并且能够利用最新的公共文件集刷新数据集，这些文件集 LLMs 尚未接触到。实验证明，当前的检索增强型生成方法不能够有效回答这些复杂的多文档问题，为此，作者引入了一种基于思维程序的 QA 系统，提高了复杂信息检索和定量推理流程的能力，从而提高了 QA 准确性。

    Jun, 2024

  • SciQAG: 自动生成科学问答数据集的框架及细粒度评估

    通过从科学文献中提取的信息，利用科学问答对生成的自动评估框架 SciQAG 表明，大型语言模型可用于从文献中提取关键知识的高质量科学问答对。

    May, 2024

  • 利用生成 NQ 类问题来改进问答

    本研究提出一种算法，利用数据集转换技术从长的 Trivia 问题转化为类似于日常人类交流的较短问题的方式，自动生成自然问题（NQ）数据集中的问题，同时使用神经分类器检测并去除不合法的问题，从而生成高质量的数据集，提高了 QA 表现，该算法在低资源环境下使用，扩展了 QA 系统的规模，同时保持了训练数据的质量。

    Oct, 2022

  • 从教育文本中自动生成问题

    设计并评估了一个自动化问题生成工具，以便用于学校的形成性和总结性评估，通过使用基于 Transformer 的语言模型和生成技术，实现了模块化框架，从文本内容中自动生成多项选择题，并进行了广泛的定量和定性评估。

    Sep, 2023

  • 新闻故事的测验式问题生成

    本研究通过建立一套问答生成模型，实现了对在线新闻读者对新闻信息的认知度的度量，并通过实验证明该模型在多项指标上具有优越的性能。

    Feb, 2021

  • 自动机器学习的天文图像质量评估

    电子辅助天文学通过将数码相机与望远镜耦合捕捉深空图像，显示通过直接观察无法看到的天文对象。我们展示了图像质量评估在自动评级天文图像方面的应用，并利用自动化机器学习开发了专用模型。

    Nov, 2023

  • 基于认证的问题和评估生成的 ChatGPT

    利用人工智能技术生成符合不同学术认证的学生评估，研究使用生成式人工智能技术创建和检验教育成果测量问题的有效性及其在考试问题中的应用。

    Nov, 2023