ACLDec, 2021

引导偏离之谜：关于连续提示的离散化解释的探讨

PDF
TL;DR为了研究对离散任务 fine-tuning 的紧凑替代方法，探讨了连续提示的离散（文本）解释的可行性，并提供了各种参数的实证分析结果，发现模型越大，出现更大的不规范现象，即可以发现更贴近任意文本的提示，而精确度下降更小。这些结果对于准确解读连续提示和其在模型和任务间的推广具有重要意义，并为未来的语言提示模型提供了指导。
fine-tuningcontinuous promptsdiscrete interpretationmodel sizegeneralization
发现论文，激发创造
  • 离散提示嵌入的连续提示生成

    通过离散提示嵌入的方法，我们提出了一种构建连续提示的新方法，以提高连续提示的可解释性和推理准确性，验证了在自然语言理解任务中使用线性组合这些提示会获得更好性能的权重预测模型。

    Dec, 2023

  • 评估离散提示的健壮性

    本文研究了离散提示在下游自然语言推理任务中的鲁棒性，通过应用 AutoPrompt 并在两个自然语言推理数据集中测量其表现，发现尽管基于离散提示的方法对自然语言推理输入的扰动相对较为鲁棒，但对提示令牌的移动和删除等其他类型的扰动非常敏感，而且其在不同的自然语言推理数据集上的泛化能力较差。

    Feb, 2023

  • 离散信息提取提示能否在语言模型之间推广？

    该论文研究了利用自动诱导的提示从语言模型中提取信息的能力是否可以被直接应用于探索其他语言模型。在证实了自动提示优于手动和半手动提示的插槽填充任务后，我们证明了在一个模型上学习并在另一个模型上进行测试的 AutoPrompt 提示效果下降。我们介绍了一种混合语言模型来诱导提示的方法，以获得可以在多个模型之间广义的提示。我们对诱导提示进行了全面分析，发现更通用的提示包括更大比例的现有英语单词，其组成部分信息的分布更少依赖顺序并且更加均匀。我们的研究提供了初步证据表明可能生成可诱导一次并与许多不同模型一起使用的离散提示，并提供关于表征此类提示的属性的见解。

    Feb, 2023

  • 面向实例感知的提示学习用于语言理解和生成

    本文提出了一种基于实例的提示学习方法，用于不同实例的学习。该方法在双向和单向的 PLMs 上得到了相当大的提升，并在 SuperGLUE few-shot learning 基准测试上实现了最好的结果。

    Jan, 2022

  • 多语言模型的离散和软提示

    本文研究表明，在预训练语言模型中，离散和软提示表现良好，且在多语言情况下性能要优于 finetuning，特别是在跨语言传递和多语言自然语言推断方面。

    Sep, 2021

  • RLPrompt：使用强化学习优化离散文本提示

    该论文提出了一种基于强化学习的离散提示优化方法（RLPrompt），旨在有效地生成适合不同类型的预训练语言模型使用的离散提示，并在极少量的下游数据情况下表现出优异的表现。

    May, 2022

  • 硬提示变得容易：基于梯度的离散优化用于提示调整和发现

    本文介绍了一种针对文本生成模型的优化方法，通过梯度下降优化生成 “hard” 文本提示，该方法可在文本生成到图像和文本生成到文本的应用中使用，提高了模型的分类准确率和混合搭配图像概念的功能。

    Feb, 2023

  • 提示硬或几乎不提示：用于文本到图像扩散模型的 Prompt 反转

    通过使生成的图像内容与用户意图一致的提示，该方法利用扩散模型进行串行优化得到直观的语言提示，从而产生具有相似内容的多样化图像。

    Dec, 2023

  • 零迁移连续提示：跨语言模型泛化任务语义

    我们提出了一种零射击连续提示转移方法，通过将源提示编码为相对空间，并搜索相应的目标模型来传输，实验证实了我们方法的有效性，连续提示中的 “任务语义” 可以在各种语言模型中进行泛化。此外，我们发现从多个源模型中汇集 “任务语义” 可以进一步增强转移的泛化能力。

    Oct, 2023

  • 对比提示改善文本到图像扩散模型中的解缠

    通过对分类器的自由引导的简单修改，该论文展示了 Contrastive Guidance 方法可以帮助在文本到图像模型中解开图像因素，从而提供对图像因素更精细的控制。该方法的关键思想是使用两个仅在最小标记上有差异的提示对所需的因素进行描述，其中正面提示描述待合成的图像，基准提示作为 “基准” 以解开其他因素。这种方法在三个场景下的优势体现为：（1）指导在对象类上训练的领域特定扩散模型，（2）为文本到图像生成提供连续的、类似骨骼的控制，以及（3）提高零 - shot 图像编辑器的性能。

    Feb, 2024