ACLMay, 2023

RAMP: 增强检索和属性标记的属性控制翻译提示

PDF
TL;DR提出了 Retrieval and Attribute-Marking enhanced Prompting (RAMP) 方法， 使用大型多语言语言模型在 few-shot 和 zero-shot 模型下进行 attribute-controlled translation，并且通过语义相似性检索和标记上下文示例来改进生成准确性。实验表明，这种方法在 zero-shot 和 few-shot 条件下均是可行的。
attribute-controlled translationmachine translationstylistic attributeslinguistic attributesfew-shot settings
发现论文，激发创造
  • 带检索增强条件提示调优的新颖性控制改写生成

    本文提出了参数效率的 Retrieval Augmented Prompt Tuning（RAPT）和使用专门的提示标记的 Novelty Conditioned RAPT（NC-RAPT）作为控制不同水平词汇新颖性的简单模型无关方法，通过在四个数据集上进行广泛实验，证明了所提出的方法在诱导语义内容的同时诱导词汇新颖性的有效性。

    Feb, 2022

  • 利用激活提示控制神经机器翻译的风格

    本文提出了一个包括多个语言方向和多个风格类别的多途径风格化机器翻译基准测试，并通过提取自风格化单语语料库的提示的方式，实现了对翻译风格的有效控制，从而取得了显著的性能。

    Dec, 2022

  • 基于多 Levenshtein Transformer 的基于例子的神经机器翻译模型

    提出了一种新颖的基于检索增强的 Levenshtein Transformer 架构，旨在提高 Retrieval-Augmented Machine Translation 的透明度，并通过编辑多个模糊匹配的示例来改善翻译得分。

    Oct, 2023

  • 通过控制源和模糊匹配交互来改进检索增强的神经机器翻译

    提出了一种新的方法，控制源句子和前 K 模糊匹配目标语言句子之间的交互，用于零样本自适应的机器翻译模型，实验证明该方法超越了以前的方法，提高了 BLEU 的分数，并在多个语言对和领域上进行了测试。

    Oct, 2022

  • 走向统一的基于文本的人员检索：一个大规模多属性和语言搜索基准

    本文提出了名为 MALS 的大型文本人物检索数据集，探讨了在属性识别和图像文本匹配任务上进行预训练的可行性，并使用 APTM 框架进行验证，取得了 3 个现实世界基准测试的最新检索表现。

    Jun, 2023

  • Tailor: 一种基于提示的属性控制文本生成方法

    Tailor 模型通过预训练连续向量来指导固定的 PLM 切换到特定的属性，同时提供多属性提示掩码和重新索引 ID 序列，以支持单属性提示的组合并实现文本的多属性生成，这在 11 个属性特定的生成任务上表现出很强的性能。

    Apr, 2022

  • 检索增强的神经机器翻译中的从内存中检索示例：系统性比较

    通过实验研究了不同的检索方法对几种翻译体系结构的影响，以更好地理解检索和生成两个过程之间的相互作用。研究表明，检索技术的选择会影响翻译结果，且不同体系结构之间存在方差。此外，研究还探讨了增加示例数量和多样性的效果，普遍上是积极的。

    Apr, 2024

  • 利用即插即用控制器驱动

    提出了一种新颖的使用预训练语言模型进行灵活属性控制的文本生成方法，通过动态调整生成文本的分布，修改提示信息，限制语言模型的输出空间并影响所需属性，在 PLM 和 PPC 之间实现协作，通过 RLDAF 方法在推理过程中改进文本生成的顺畅性，实验证明该方法在多个评估指标下（包括文本流畅性和属性一致性）优于之前的方法。

    Feb, 2024

  • INTapt: 提高非母语语音识别能力的信息理论对抗提示调整

    提出 Information Theoretic Adversarial Prompt Tuning (INTapt) 方法来解决 pre-trained speech model 表示偏差的问题，通过引入 prompts 来重新调节预训练模型的注意力，从而改善非母语英语说话者的 ASR 性能，同时增加 L2 英语口音与 L1 英语口音之间的特征相似性。

    May, 2023

  • 检索增强的思维过程作为顺序决策制定

    采用检索增强式思维过程（Retrieval-Augmented Thought Process）解决大型语言模型（Large Language Models）在隐私、幻觉和长上下文处理方面的挑战，从而在处理私人数据的问答任务中实现了与现有上下文检索增强语言模型相比 50% 的提升。

    Feb, 2024