Oct, 2023

基于 Prompt-Engineering 和 Transformer 的问题生成和评估

PDF
TL;DR该研究旨在通过变压器模型和提示工程找到从文本数据中生成问题的最佳方法。通过对 SQuAD 问答数据集上的预训练 distilBERT 模型的微调以生成问题，并应用 LLaMA 模型以有效地生成问题，将生成的问题与 SQuAD 数据集中的基准问题进行比较，评估了四种不同提示的有效性，其中有 30% 的提示生成的问题获得了大于 70% 的高相似度分数。
question generationeducational contexttransformer modelprompt engineeringllama model
发现论文，激发创造
  • 利用基于提示的技术来生成学校级问题的大型语言模型的力量

    利用基于提示的技术生成描述性和推理性问题是一个具有挑战性和耗时的任务。本研究提出了一种新方法，利用基于提示的技术生成描述性和推理性问题。我们通过精选的 NCERT 教科书的丰富内容，创建了一个名为 EduProbe 的新的问题生成数据集。我们针对此数据集调查了几种基于提示的问题生成方法，并使用预训练的大型语言模型进行了微调。通过自动评估，我们发现 T5（使用长提示）表现优于其他模型，但仍然低于人类基准。在人类评估标准下，TextDavinci-003 通常在各种提示设置下表现更好。即使在人类评估标准下，问题生成模型也大多低于人类基准。

    Dec, 2023

  • 利用 Transformer 语言模型简化段落级问题生成

    Question generation is a natural language generation task that can be achieved with a single Transformer-based unidirectional language model, which outperforms QG baselines and produces high-quality questions that are relevant to their context paragraph and easy to answer, utilizing transfer learning without relying on auxiliary data.

    May, 2020

  • 评估基于提示的问题回答在开放研究知识图谱中的物体预测中的应用

    本文报告了采用基于提示的 transformer 训练方法进行学术知识图谱对象预测的结果，发现在轻度评估设置下，这种训练方法能够提高 40％的性能，但仍存在领域知识捕获差距，需要更多关注和资源来解决这个问题。

    May, 2023

  • 探索使用 Transformers 进行问题生成的答案信息方法

    已进行了许多关于问题生成的研究，应用了不同的方法来提供目标答案作为输入。本研究使用三种不同的方法及其组合来整合答案信息，并探索其对多种自动评估指标的影响。我们观察到仅使用回答提示而不使用其他附加模式在 Rouge 和 Meteor 评分上获得最佳成绩。此外，我们使用了自定义度量来计算生成的问题中有多少个问题具有相同的答案，作为用于生成它们的答案。

    Dec, 2023

  • 运用 GPT-3 驱动教学代理系统培养儿童的好奇心提问技能

    本研究借鉴自然语言处理和大型语言模型相结合的方法，采用自然文本提示来制作课程内容，有效提高了儿童好奇心问题的生成能力，同时发现开放式训练内容更适合培养好奇心问题发现的技能。

    Nov, 2022

  • 学习提问以回答问题：获取 GPT-2 和 BERT 的最大优势

    本文利用变压器模型和深度神经网络提出了一种有效的自动生成问题的方法，并通过 SQuAD 1.1 数据集实验证明所提出的模型可以产生语义正确且多样化的问题，并且在半监督学习中表现优异，为小数据领域内的问题生成提供了强大的支持。

    Nov, 2019

  • 基于文本的神经问答生成：初步研究

    本研究提出了一种基于神经编码器 - 解码器模型的自动问题生成方法，可以根据给定的段落生成多样化、有意义的问题并利用 SQuAD 数据集进行了初步实验研究，实验结果显示该方法可以产生流畅且多样化的问题。

    Apr, 2017

  • 大型语言模型中关于提示工程的系统调查：技术与应用

    本综述论文通过提供近期进展的结构化概述，对提示工程的不同方法和技术进行分类，详细介绍了提示方法学、应用领域、所使用的模型和数据集，并探讨了每种方法的优点、局限性以及通过分类图和表格总结了数据集、模型和关键点，从而更好地理解这一快速发展领域并为提示工程的未来研究提供洞察、揭示了开放性挑战和机遇。

    Feb, 2024

  • 基于 Transformer 的语言模型在抽取式问答中的比较研究

    本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

    Oct, 2021

  • q2d：从问题到对话，训练模型学习搜索

    该论文介绍了一种自动生成基于搜索查询的对话数据的机器学习方法，通过使用大型语言模型生成问题回答数据集，学习如何与外部搜索 API 通信，以生成具有上下文的搜索查询，从而改善对话系统的回答效果。

    Apr, 2023