Jun, 2023

利用大语言模型优化小数据集的 Few-shot 推理表现

PDF
TL;DR本研究提出了一种名为 Prompt Space 的新的有效方法，利用文本嵌入来获取基向量并构建表示所有提示的空间，成功解决当前方法缺乏理论基础的问题，取得了在十个公共推理基准上的显著优异表现，为在 LLMs 中进行简单而有效提示的选择提供了牢固而基本的理论框架。
prompt engineeringlarge language modelschain of thoughtsmatrix decompositionreasoning benchmarks
发现论文，激发创造
  • 提示工程师的提示工程

    通过构建元提示（meta-prompt）从而更有效地引导大型语言模型（LLMs）进行自动提示工程，进而优化其性能。

    Nov, 2023

  • 大型语言模型中开发提示工程的潜力释放：综合回顾

    该综述研究了快速建模在发挥大型语言模型的能力方面的关键作用，探讨了角色激励、单次指示、观点链、观点树等快速建模的基本原则和高级方法，并阐述了外部插件如何协助此任务并减少机器幻觉，强调了深入了解结构和代理角色在人工智能生成内容工具中的重要性，最后讨论了在教育和编程等领域中应用快速建模的实践和潜力。

    Oct, 2023

  • 大型语言模型中关于提示工程的系统调查：技术与应用

    本综述论文通过提供近期进展的结构化概述，对提示工程的不同方法和技术进行分类，详细介绍了提示方法学、应用领域、所使用的模型和数据集，并探讨了每种方法的优点、局限性以及通过分类图和表格总结了数据集、模型和关键点，从而更好地理解这一快速发展领域并为提示工程的未来研究提供洞察、揭示了开放性挑战和机遇。

    Feb, 2024

  • 零轉化臨床自然語言處理中大型語言模型的提示策略實證評估

    本文综合系统地对五个临床自然语言处理任务（临床意义消除、生物医学证据提取、共指消解、药物状态提取和药物属性提取）的提示工程进行了实验研究，评估了多种提示类型在三种先进的大型语言模型（GPT-3.5、BARD 和 LLAMA2）上的性能，并提出了对临床 NLP 领域提示工程的新见解和指南。

    Sep, 2023

  • Plan-and-Solve Prompting: 通过大型语言模型改进零样本思维链推理

    通过使用 “Let's think step by step” 等输入提示来生成排列步骤，Plan-and-Solve (PS) Prompting 解决了 Zero-shot-CoT 存在的缺失计算错误，缺失步骤错误和语义误解错误，是一种有效的零次提示策略，能够在数学推理问题上与 8-shot CoT 提示相媲美，并优于 Zero-shot-CoT 和 Zero-shot-Program-of-Thought 提示。

    May, 2023

  • 企业中的提示工程实践探索

    通过分析 Prompt 编辑行为和变化类型，以更好地理解 Prompt 工程实践，我们发现与大型语言模型的交互主要通过提示进行，并且有效提示设计取决于用户的迭代过程和目标的实现。

    Mar, 2024

  • 自我确信的激励机制：反复审视下的少样本问答

    利用大规模预训练语言模型，通过迭代增强和定制提示来提升其在复杂任务中的性能。

    Oct, 2023

  • 基于通信理论的大型语言模型的促进工程方法

    大型语言模型的兴起改变了自然语言处理领域从单任务导向到全面的端到端多任务学习范式，其中基于大型语言模型的提示方法引起了广泛关注，尤其是由于提示工程的技术优势以及不同提示方法揭示的自然语言处理原理。本研究旨在通过建立通信理论框架来评述现有的提示工程方法，深入了解其中在四个典型任务中的发展趋势，并为未来的提示工程方法指明有前途的研究方向。

    Oct, 2023

  • 合法提示：教授语言模型像律师那样思考

    本文探讨了零样本 / 小样本以及微调方法在法律推理任务中的表现，结果发现，源于特定法律推理技术的提示能够获得最佳结果。实验最终将最佳结果从 0.7037 提升至 0.8148，并且准确性高于 2022 最佳系统的 0.6789，为 0.7431。

    Dec, 2022

  • 零样本通识推理的提示工程和校准

    在小型语言模型上研究及评估大型语言模型的理解任务，包括多项选择常识推理，结果显示各种策略对不同的模型有利，但联合效果大多为负。

    Apr, 2023