May, 2022

Prompt-and-Rerank: 小语言模型的零 / 少样式转换方法

PDF
TL;DR论文提出了 Prompt-and-Rerank 方法，利用预训练语言模型实现任意文本风格转换，并在七个不同的数据集上进行了实证研究，探究模型大小和提示设计对风格转移质量的影响。
textual style transferpre-trained language modelsprompt-and-reranktarget stylemodel size
发现论文，激发创造
  • 基于提示的文本风格转移编辑

    该论文提出了一种基于提示的文本风格转换编辑方法，其中使用预训练语言模型进行风格分类，使用分类概率计算风格得分，然后通过词级别的编辑，以最大化全面的评分函数来实现风格转换任务，实验表明其性能远高于具有 20 倍参数的现有技术。

    Jan, 2023

  • 使用大型语言模型进行任意文本风格转换的方法

    本文采用大型语言模型（LM）来进行零样式转移，提出了一种提示方法，称为增强的零样式学习，将样式转移作为句子重写任务，并仅需要自然语言指令，无需目标样式的模型微调或示例。增强的零样式学习简单易用，不仅在情感等标准样式转换任务上表现出色，而且可以进行任意变换，例如 “使其多愁善感” 或 “插入一个隐喻”。

    Sep, 2021

  • 利用大型语言模型进行文本风格转换评估

    我们评估了不同的大型语言模型在文本风格转换评估中的性能并提出了输入提示的集成来增加评估的鲁棒性。

    Aug, 2023

  • 零迁移连续提示：跨语言模型泛化任务语义

    我们提出了一种零射击连续提示转移方法，通过将源提示编码为相对空间，并搜索相应的目标模型来传输，实验证实了我们方法的有效性，连续提示中的 “任务语义” 可以在各种语言模型中进行泛化。此外，我们发现从多个源模型中汇集 “任务语义” 可以进一步增强转移的泛化能力。

    Oct, 2023

  • 基于约束生成的离散提示优化用于零样本重排

    本研究旨在探索大规模语言模型用于信息检索的零 - shot 重排问题。我们提出了一种新颖的离散提示优化方法 Co-Prompt，并将其应用于零 - shot 重排任务中。实验表明，Co-Prompt 相对于基线有着卓越的重排表现，并且生成更易于人理解的提示。

    May, 2023

  • 大型语言模型是否真正擅长文本风格转换？

    我们分析了大型语言模型（LLMs）在文本样式转换（TST）上的性能，特别关注情感转移和文本解毒，在英语、印地语和孟加拉语三种语言中进行。我们使用零样本和少样本提示以及参数高效微调，评估了预训练 LLMs 的能力，使用自动度量、GPT-4 和人工评估。我们的评估结果显示，虽然一些受提醒的 LLMs 在英语上表现良好，但它们在其他语言（印地语、孟加拉语）上的表现平均。然而，微调与零样本和少样本提示相比显著改善了结果，使它们与之前的最先进水平相媲美。这突显出有效的 TST 需要专门的数据集和专用模型的必要性。

    Jun, 2024

  • 克服提示扰动敏感性的零样本方法

    该研究旨在在零 - shot 设置中找到高质量的 prompt。我们的自动化方法使用位置、推理和释义技术生成多个与基本 prompt 类似的 prompt，然后使用新的度量标准对这些 prompt 进行排名。我们实验证明，排名靠前的 prompt 是高质量的，显著优于基本 prompt 和使用 few-shot learning 生成的 prompt，适用于句子级情感分类任务。

    May, 2023

  • 零样机任务推广的提示一致性

    本文探讨了如何利用未标记的数据以提高自然语言处理任务的零样本性能，并通过规范提示一致性来鼓励模型的一致预测，并取得了实验结果上的进展和成果。

    Apr, 2022

  • 基于风格掩码语言模型的文本风格转换

    本文提出了一种新的文本样式转换模型，名为 Style MLM，它使用原型编辑方法来构建一种样式屏蔽语言模型任务，通过使用 “可解释的注意力” 来解决样式屏蔽步骤中的位置问题。我们的模型通过与强大的 TST 基线和先进的 TST 模型竞争，展示了其在内容保留环节效果的卓越性。

    Oct, 2022

  • 通过零 - shot 多语言回译防止作者个人信息泄露

    本文提出了一种简单且无需训练数据的方法，通过多语言反向翻译来有效降低作者个人信息暴露的风险，以达到提高隐私性的目的，而无需牺牲数据的后续实用价值。在自动和人类评估中，与五种最具代表性的文本风格转换模型相比，我们的模型在不同领域的三个数据集上取得了最佳的整体表现，能够将性别和种族的对抗预测降低高达 22％，同时保留 95％的原始实用性。

    Sep, 2021