Dec, 2023

利用基于提示的技术来生成学校级问题的大型语言模型的力量

PDF
TL;DR利用基于提示的技术生成描述性和推理性问题是一个具有挑战性和耗时的任务。本研究提出了一种新方法，利用基于提示的技术生成描述性和推理性问题。我们通过精选的 NCERT 教科书的丰富内容，创建了一个名为 EduProbe 的新的问题生成数据集。我们针对此数据集调查了几种基于提示的问题生成方法，并使用预训练的大型语言模型进行了微调。通过自动评估，我们发现 T5（使用长提示）表现优于其他模型，但仍然低于人类基准。在人类评估标准下，TextDavinci-003 通常在各种提示设置下表现更好。即使在人类评估标准下，问题生成模型也大多低于人类基准。
educational questionsquestion generationprompt-based techniquesqg datasetpre-trained language models
发现论文，激发创造
  • 基于 Prompt-Engineering 和 Transformer 的问题生成和评估

    该研究旨在通过变压器模型和提示工程找到从文本数据中生成问题的最佳方法。通过对 SQuAD 问答数据集上的预训练 distilBERT 模型的微调以生成问题，并应用 LLaMA 模型以有效地生成问题，将生成的问题与 SQuAD 数据集中的基准问题进行比较，评估了四种不同提示的有效性，其中有 30% 的提示生成的问题获得了大于 70% 的高相似度分数。

    Oct, 2023

  • 运用 GPT-3 驱动教学代理系统培养儿童的好奇心提问技能

    本研究借鉴自然语言处理和大型语言模型相结合的方法，采用自然文本提示来制作课程内容，有效提高了儿童好奇心问题的生成能力，同时发现开放式训练内容更适合培养好奇心问题发现的技能。

    Nov, 2022

  • GenQA：从少数提示生成数百万个指令

    研究如何从单个提示生成大型指导数据集，使用较少的人工监督，使 LLMs 能够撰写多样化的指令示例，从简单的完成任务到复杂的多轮对话，并在知识密集型任务和对话评估中超过了 WizardLM 和 Ultrachat，在扩展性和可伸缩性方面超过了公共指导微调数据集。

    Jun, 2024

  • 提示作为探究：利用语言模型进行知识库构建

    本文提出了一种名为 ProP 的方法，它利用 GPT-3 这个大型语言模型进行知识库构建任务，结合多种提示技巧，结果表明手动提示的重要性、变长回答集的有效用处以及实体别名字典的效用等，从而获得了较高的预测质量。

    Aug, 2022

  • 利用 Transformer 语言模型简化段落级问题生成

    Question generation is a natural language generation task that can be achieved with a single Transformer-based unidirectional language model, which outperforms QG baselines and produces high-quality questions that are relevant to their context paragraph and easy to answer, utilizing transfer learning without relying on auxiliary data.

    May, 2020

  • 大型语言模型与查询工程在生物医学多文档摘要中的应用

    使用提示工程和 GPT-3.5 进行生物医学问题聚焦多文档摘要，我们的系统在 2023BioASQ 挑战中通过 GPT-3.5 和适当的提示获得了最佳的 ROUGE-F1 结果。这篇论文证实了在其他领域观察到的事实：纳入少样本的提示通常优于对应的零样本变体；检索增强生成实现了最大的改进。这些提示使得我们的最佳运行结果在 BioASQ11b 排名前两位，证明了在一般情况下，使用适当的提示对于大语言模型以及 GPT-3.5 在问题聚焦摘要中的强大作用。

    Nov, 2023

  • EntGPT：将生成式大型语言模型与知识库进行链接

    通过实体消歧任务，我们使用三步硬提示方法探索大型语言模型 (LLM) 的性能，改进模型的原始性能并与现有方法进行比较，以提高模型的知识建模和准确性。

    Feb, 2024

  • 评估基于提示的问题回答在开放研究知识图谱中的物体预测中的应用

    本文报告了采用基于提示的 transformer 训练方法进行学术知识图谱对象预测的结果，发现在轻度评估设置下，这种训练方法能够提高 40％的性能，但仍存在领域知识捕获差距，需要更多关注和资源来解决这个问题。

    May, 2023

  • 利用大型语言模型和检索加强生成来提高教科书问答任务

    该论文提出了一种利用检索增强生成技术和迁移学习来处理教科书问答中领域外情况的方法，以处理复杂的语境和多模态数据，并改善推理能力。通过对 Llama-2 模型进行监督微调和引入 RAG，我们的架构在非图表多项选择题中相较于基线模型，在验证集上精度提升了 4.12%，在测试集上提升了 9.84%。

    Feb, 2024

  • 基于原则的指导是提问 LLaMA-1/2 和 GPT-3.5/4 所需的全部

    本研究介绍了 26 个指导原则，旨在简化大规模语言模型查询和提示的过程，通过对 LLaMA-1/2、GPT-3.5/4 等模型的广泛实验验证所提原则在指令和提示设计上的有效性，以提供更好的指导给从事大规模语言模型提示研究的学者。

    Dec, 2023