ICLRMay, 2024

揭示和操控大型语言模型中的提示影响

PDF
TL;DR通过使用 Token Distribution Dynamics 方法，我们揭示了 Prompt 输入对于生成大型语言模型 (如 GPT) 输出的重要作用，该方法显著优于现有的基线方法，并且在控制文本生成方面具有潜力应用于抑制有害语言和调节情感。
large language modelsinput saliencytoken distribution dynamicsprompt manipulationtext generation
发现论文，激发创造
  • 通过定向促发指导大型语言模型

    通过引入 “方向刺激提示” 框架，使用可调的语言模型（LM）为黑盒冷冻的大语言模型（LLM）在下游任务中提供指导，以重点提示 / 示范以及方向性刺激等手段协助 LLM 完成任务，通过验证取得了鼓舞人心的提升。

    Feb, 2023

  • 基于困惑度度量和上下文信息的标记级对抗性提示检测

    本文提出了一种基于令牌级别检测方法来识别对抗提示的方法，利用大型语言模型的能力来预测下一个令牌的概率，测量模型的困惑度并结合相邻令牌信息，以鼓励检测连续的对抗提示序列，提出了两种方法：一种将每个令牌识别为是否属于对抗提示的一部分，另一种估计每个令牌属于对抗提示的概率。

    Nov, 2023

  • 大型语言模型在扩散模型中的提示编码作用探索

    利用新提出的框架，将大型语言模型与文本到图像生成模型灵活地集成在一起，并通过消除固有的位置偏差和增强文本表示能力提高预测性能。

    Jun, 2024

  • 插入并玩：一种控制文本生成的提示调整方法

    利用小型语言模型进行 Prompt 调整，使用提示嵌入对生成文本进行控制，验证其在情感分析、正式度和有害语言领域的有效性。

    Apr, 2024

  • PDD：基于提示和动态演示的少样本自然语言推断生成

    在少样本情况下，本文提出了一种带提示和动态演示的语言模型（LM-PDD）来解决自然语言推理生成任务问题，该方法在 SNLI 和 MNLI 数据集上比标准微调模型有着 8% 的平均绝对改进，并且在 13 种自然语言分类任务上表现良好，可以用于数据增强和可控文本生成。

    May, 2022

  • (动态) 提示可能足以修复压缩的 LLM 模型

    大型语言模型，困惑度，压缩，基于提示的恢复，推理时动态提示。

    Oct, 2023

  • 简单的 LLM 提示是稳健多语言对话评估的尖端技术

    研究通过结合当前评估模型的优势与新建立的提示性大语言模型的范式，提出了一种新颖的框架，以实现对对话的鲁棒性和多语言性评估能力，并在多个基准测试中取得了最先进的成果，并在 DSTC11 轨道 4 “开放领域对话系统的自动评估指标” 中分别在鲁棒性和多语言任务中名列前茅，证明了提示性大语言模型的评估能力。

    Aug, 2023

  • 大型语言模型的自动提示选择

    自动选择给定输入的最佳提示，克服手动设计有效提示的挑战，通过聚类训练数据、生成候选提示、生成输入 - 提示 - 输出数据集以训练评估器，并使用评估器在测试时选择最佳提示来实现兼顾通用性和特异性的方法。在零 - shot 问答数据集上显示出竞争性性能。

    Apr, 2024

  • 对话模型的节约提示

    研究了使用大型语言模型建立对话系统的不同方法，并分析了对话历史的表示方式，提出了一种更紧凑的提供对话历史信息的方法，从而有效减少模型 API 的成本。

    May, 2023

  • 基于提示的多任务学习中社交偏见的测量

    本论文探讨了在多任务文本生成模型中，使用问题 - 答案格式输入与前提 - 假设格式输入是否会影响模型的社会偏见，并使用两个基准测试评估了 T0 模型在其中的表现，结果表明前者会使得模型表现出更多的社会偏见。

    May, 2022