基于提示学习的关键观点到论据的映射
通过实验证明,设计复杂的提示可能并不一定比设计简单的提示更有效,设计的提示中的关键词的改变会影响整体性能,在面对长文档时,设计复杂的提示可以获得更好的性能。
May, 2024
该研究采用大型语言模型来预测论证质量,并通过 GPT-3 进行提示工程,探讨多任务学习、对比学习和中间任务训练等训练模式。结果表明,混合模型的预测效果优于单一模型,并且采用全部三种训练模式训练的模型最能准确预测论证的新颖性。
Sep, 2022
本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架,该框架通过多种连续提示规则将知识子图转化为自然语言提示,并在这些提示的基础上提出了两个新的知识感知无监督任务,实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。
Oct, 2022
本文提出了将大量讨论中的摘要表示为少量关键点的想法,并根据其显著性对每个关键点进行评分。通过分析大型数据集及实验结果表明,针对一个特定话题,少量关键点通常足以涵盖绝大部分的讨论内容,同时也发现领域专家通常可以提前预测这些关键点。文章探讨了将论点到关键点的映射任务,并引入了一个新的大型数据集,通过在该数据集上进行一系列实验,报告了有希望的表现。
May, 2020
本文提出了一种名为 ProP 的方法,它利用 GPT-3 这个大型语言模型进行知识库构建任务,结合多种提示技巧,结果表明手动提示的重要性、变长回答集的有效用处以及实体别名字典的效用等,从而获得了较高的预测质量。
Aug, 2022
本研究提出了一种名为 Prompt Space 的新的有效方法,利用文本嵌入来获取基向量并构建表示所有提示的空间,成功解决当前方法缺乏理论基础的问题,取得了在十个公共推理基准上的显著优异表现,为在 LLMs 中进行简单而有效提示的选择提供了牢固而基本的理论框架。
Jun, 2023
医疗领域中探索提示工程的有效性:回顾近期 114 项应用提示工程于医学领域的研究,覆盖提示学习、提示调优和提示设计领域,结果发现提示设计是最普遍的方法,其中有 12 篇论文中三者的术语被交替使用。ChatGPT 是最常用的大型语言模型,有七篇论文使用它来处理敏感的临床数据,而 “Chain-of-Thought” 是最常见的提示工程技术。提示学习和提示调优的研究通常为评估基于提示的方法提供了基准,但 64% 的提示设计研究缺乏非提示相关的基准。我们提供了总结现有工作的表格和图表,并提出建议以指导未来的研究贡献。
May, 2024
使用 GPT-3 等自然语言处理模型在业务流程管理(BPM)领域中取得了成功,但需要 fine-tuning 以及大量适当的训练数据。为此,本文提出可以借助 prompt engineering 将这些语言模型能力引入 BPM 研究,并提出了相关潜力和挑战的研究议程。
Apr, 2023
该综述研究了快速建模在发挥大型语言模型的能力方面的关键作用,探讨了角色激励、单次指示、观点链、观点树等快速建模的基本原则和高级方法,并阐述了外部插件如何协助此任务并减少机器幻觉,强调了深入了解结构和代理角色在人工智能生成内容工具中的重要性,最后讨论了在教育和编程等领域中应用快速建模的实践和潜力。
Oct, 2023
本文介绍了基于知识拓展的 Prompt-learning 方法来解决短文本分类中的标签扩展问题,并在三个著名数据集上实验,结果比其他方法均取得了显著提高。
Feb, 2022