Nov, 2023

是否为？对持续可控激励工程的探索

PDF
TL;DRControlPE 是一种对大型语言模型进行微调和精细控制的技术，利用 LoRA 实现连续的 Prompt 引导权重调整，有效地管控生成过程中的 Prompt 影响。通过生成专门的数据集进行 Prompt 精炼，并将其应用于 LoRA 模型，通过调整 LoRA 合并权重来调控 Prompt 的影响，从而实现了动态且可适应的 Prompt 控制。通过实验证明了 ControlPE 在控制各种类型的 Prompt 上的实用性和有效性，包括生成短回答 Prompt、拒绝 Prompt 和思路链 Prompt。
large language modelsparameter-efficient fine-tuningcontrolpeloraprompt control
发现论文，激发创造
  • 透过最优控制的镜头看待提示工程

    为解决复杂任务并提升人机交互效率，本研究通过最优控制框架，提出了多轮与大型语言模型的交互技术，包括扩展到多个回合的交互、合奏方法和多智能体协作，以系统化现有的 Prompt Engineering 方法，并探索理论挑战和更有效、可解释的方法的发展基础。

    Oct, 2023

  • 提示工程师的提示工程

    通过构建元提示（meta-prompt）从而更有效地引导大型语言模型（LLMs）进行自动提示工程，进而优化其性能。

    Nov, 2023

  • 基于通信理论的大型语言模型的促进工程方法

    大型语言模型的兴起改变了自然语言处理领域从单任务导向到全面的端到端多任务学习范式，其中基于大型语言模型的提示方法引起了广泛关注，尤其是由于提示工程的技术优势以及不同提示方法揭示的自然语言处理原理。本研究旨在通过建立通信理论框架来评述现有的提示工程方法，深入了解其中在四个典型任务中的发展趋势，并为未来的提示工程方法指明有前途的研究方向。

    Oct, 2023

  • 属性控制的对话提示

    该论文介绍了一种新颖的基于实例控制代码的提示调整算法来探索其对于对话生成的影响，该算法不同于传统的离散提示和连续提示，可以适应输入变化较大的任务，如开放领域对话生成，并在经典数据集上实验证明其比提示基线更好，而参数却只需用到总计量的 5-6%。

    Jul, 2023

  • Prompt 的简要历史：利用语言模型

    本研究论文全面探索了自然语言处理领域中提示工程和生成的演变，从早期的语言模型和信息检索系统开始，追踪了多年来塑造提示工程的关键发展。

    Sep, 2023

  • 插入并玩：一种控制文本生成的提示调整方法

    利用小型语言模型进行 Prompt 调整，使用提示嵌入对生成文本进行控制，验证其在情感分析、正式度和有害语言领域的有效性。

    Apr, 2024

  • APEER：自动提示工程提升大型语言模型重排

    通过自动提示工程算法 APEER，大型语言模型在信息检索中的零样本相关性排名取得了显著的性能提升，并展现出更好的跨任务和跨语言模型的可迁移性。

    Jun, 2024

  • 文本到图像生成的动态提示优化

    通过引入 Prompt Auto-Editing (PAE) 方法，我们改进了文本生成图像的初衷，进一步采用在线加强学习策略来探索每个词的权重和注入时间步长，从而实现了动态的精细控制提示。实验结果表明，我们的方法在改善原始提示的同时生成了视觉更吸引人的图像，并保持了语义的一致性。

    Apr, 2024

  • 通过提示回归进行提示探索

    基于大规模语言模型的广泛使用，提出了一种用于预测提示组合效果的框架 PEPR，并提供了简单方法用于选择有效的提示。在不同任务上，利用不同规模的开源语言模型对该方法进行了评估。

    May, 2024

  • 基于提示的长度受控生成与多种控制类型

    通过采用强化学习和通过基于规则的奖励模型给出的奖励信号进行样本过滤的方式，我们提出了一种基于提示的方法，以不同的控制类型实现控制长度的生成，并在流行的摘要数据集上显著提高了准确率。

    Jun, 2024