Jul, 2023

视觉 - 语言基础模型的提示工程系统性调查

PDF
TL;DR本文系统概述了在三种类型的视觉 - 语言模型上的提示工程的前沿研究，包括多模式到文本生成模型、图像 - 文本匹配模型和文本 - 图像生成模型，并总结和讨论了模型概要、提示方法、基于提示的应用以及相关的责任和完整性问题。此外，还讨论了在提示对视觉 - 语言模型、语言模型和视觉模型的共同点和差异，并对挑战、未来方向和研究机会进行了总结，以推动未来对此主题的研究。
prompt engineeringvision-language modelscutting-edge researchmultimodal-to-text generationresponsibility and integrity issues
发现论文，激发创造
  • 大型语言模型中关于提示工程的系统调查：技术与应用

    本综述论文通过提供近期进展的结构化概述，对提示工程的不同方法和技术进行分类，详细介绍了提示方法学、应用领域、所使用的模型和数据集，并探讨了每种方法的优点、局限性以及通过分类图和表格总结了数据集、模型和关键点，从而更好地理解这一快速发展领域并为提示工程的未来研究提供洞察、揭示了开放性挑战和机遇。

    Feb, 2024

  • 大型视觉模型和视觉提示工程的综述

    本文综述了计算机视觉领域大型视觉模型和视觉提示工程所采用的方法，探讨了视觉提示工程的最新进展。

    Jul, 2023

  • 大型语言模型中开发提示工程的潜力释放：综合回顾

    该综述研究了快速建模在发挥大型语言模型的能力方面的关键作用，探讨了角色激励、单次指示、观点链、观点树等快速建模的基本原则和高级方法，并阐述了外部插件如何协助此任务并减少机器幻觉，强调了深入了解结构和代理角色在人工智能生成内容工具中的重要性，最后讨论了在教育和编程等领域中应用快速建模的实践和潜力。

    Oct, 2023

  • Prompt 的简要历史：利用语言模型

    本研究论文全面探索了自然语言处理领域中提示工程和生成的演变，从早期的语言模型和信息检索系统开始，追踪了多年来塑造提示工程的关键发展。

    Sep, 2023

  • 企业中的提示工程实践探索

    通过分析 Prompt 编辑行为和变化类型，以更好地理解 Prompt 工程实践，我们发现与大型语言模型的交互主要通过提示进行，并且有效提示设计取决于用户的迭代过程和目标的实现。

    Mar, 2024

  • 基于通信理论的大型语言模型的促进工程方法

    大型语言模型的兴起改变了自然语言处理领域从单任务导向到全面的端到端多任务学习范式，其中基于大型语言模型的提示方法引起了广泛关注，尤其是由于提示工程的技术优势以及不同提示方法揭示的自然语言处理原理。本研究旨在通过建立通信理论框架来评述现有的提示工程方法，深入了解其中在四个典型任务中的发展趋势，并为未来的提示工程方法指明有前途的研究方向。

    Oct, 2023

  • 自然语言处理中提示方法的系统调查：预训练、提示和预测

    该研究论文调查和组织了一种新兴的自然语言处理范式，这种范式被称为 “基于提示的学习”，并在其中介绍了其基础知识和数学符号，以及其在预训练模型、提示和调整策略等方面的相关研究成果，该框架通过使用模板将输入 x 修改为具有一些未填充信息的文本字符串提示 x'，并将语言模型用于填充未填充信息以获得最终字符串 x，从而实现零样本学习和少样本学习。

    Jul, 2021

  • 医疗应用的思维工程范式：范围审查和更好实践的建议

    医疗领域中探索提示工程的有效性：回顾近期 114 项应用提示工程于医学领域的研究，覆盖提示学习、提示调优和提示设计领域，结果发现提示设计是最普遍的方法，其中有 12 篇论文中三者的术语被交替使用。ChatGPT 是最常用的大型语言模型，有七篇论文使用它来处理敏感的临床数据，而 “Chain-of-Thought” 是最常见的提示工程技术。提示学习和提示调优的研究通常为评估基于提示的方法提供了基准，但 64% 的提示设计研究缺乏非提示相关的基准。我们提供了总结现有工作的表格和图表，并提出建议以指导未来的研究贡献。

    May, 2024

  • 理解提示工程不一定需要重新思考普遍化

    通过经典的 PAC-Bayes 界限解释所产生的离散提示的性能表现良好，这为手动设计和生成过程中引导工程实践提供了可能的理论解释。

    Oct, 2023

  • 提示工程师的提示工程

    通过构建元提示（meta-prompt）从而更有效地引导大型语言模型（LLMs）进行自动提示工程，进而优化其性能。

    Nov, 2023