Dec, 2022

利用激活提示控制神经机器翻译的风格

PDF
TL;DR本文提出了一个包括多个语言方向和多个风格类别的多途径风格化机器翻译基准测试，并通过提取自风格化单语语料库的提示的方式，实现了对翻译风格的有效控制，从而取得了显著的性能。
neural machine translationtranslation stylesmultiway stylized machine translationstyle activation promptbenchmark
发现论文，激发创造
  • 基于提示的文本风格转移编辑

    该论文提出了一种基于提示的文本风格转换编辑方法，其中使用预训练语言模型进行风格分类，使用分类概率计算风格得分，然后通过词级别的编辑，以最大化全面的评分函数来实现风格转换任务，实验表明其性能远高于具有 20 倍参数的现有技术。

    Jan, 2023

  • 利用自然语言提示进行机器翻译

    本文旨在探讨自然语言提示在控制机器翻译模型输出方面的应用，并证明其能够影响输出的正式程度和具体方言等属性。研究还表明，使用语言名称控制多语言翻译模型的输出语言能够使得未见过的语言对之间产生积极的迁移效果，从而能够利用英文名翻译成未经微调的语言。同时，研究了规模、预训练步数、微调语言数量和语言相似度等因素对该现象的影响。

    Feb, 2022

  • 神经机器翻译的主动学习

    本文使用 Joey NMT 工具包中的 Active Learning 技术，通过两种基于模型的获取函数 (BM, FTM, ALLCM, 和 ALMSM)，研究了英语到印地语的神经机器翻译。本文的结果表明，Active Learning 技术能够使模型更早地达到收敛并提高整个翻译系统的质量，其中 ALLCM 和 ALMSM 两种模型取得了最好的 BLEU 分数。

    Dec, 2022

  • 使用零样本提示学习控制对话中的人格风格

    本文探讨了基于提示的学习在控制自然语言生成模型的人格和语义准确性方面的效果，结果表明，提示生成的输出会产生更好的语义准确性和人格准确性，特别是在语义风格转移提示的情况下，同时没有前人在此方面的探索。

    Feb, 2023

  • 用神经自然语言生成器控制基于个性的风格变化

    本文探讨了自然语言生成在任务导向对话中的应用，提出了三种序列到序列模型，并考虑如何实现内容和风格的分离，通过控制 36 个风格参数，实现对语义和风格的高度还原。

    May, 2018

  • 基于模式引导的自然语言生成的风格控制

    本研究着重于架构引导的自然语言生成中的风格控制和评估，旨在同时实现语义和风格控制，通过条件训练、引导微调和引导解码等各种控制生成方法的实验来评估其优缺点，并用广泛的自动和人工评估指标来评估，结果表明，使用判别器引导解码更适合处理风格较为语义复杂的任务，同时这种方法也更加可扩展，效果更好。

    Sep, 2021

  • 最近邻语言模型用于风格可控生成

    本文构建并评估了一种基于外部记忆的语言建模方法，利用政治正确、正式性和毒性等属性进行样式控制，结果显示基于样式专用数据存储器的生成性能得到了提高，但仍需在未来的工作中探索预训练数据和特定样式的效果。

    Oct, 2022

  • RAMP: 增强检索和属性标记的属性控制翻译提示

    提出了 Retrieval and Attribute-Marking enhanced Prompting (RAMP) 方法， 使用大型多语言语言模型在 few-shot 和 zero-shot 模型下进行 attribute-controlled translation，并且通过语义相似性检索和标记上下文示例来改进生成准确性。实验表明，这种方法在 zero-shot 和 few-shot 条件下均是可行的。

    May, 2023

  • 大语言模型的机器翻译：波斯语，英语和俄语方向的提示工程

    通过研究生成式大型语言模型在机器翻译中的性能，我们发现多语言模型（如 PaLM）在人工翻译输出方面表现出类似人类的水平，能够根据样式指南和语言要求优化所需的翻译细微差别，并在处理和应用提示上表现出色。我们还针对流行的语言模型作为机器翻译工具的错误和限制进行了分类和提出了设计提示进行上下文学习的方法。通过改进评估指标的准确性和可靠性，我们的研究旨在促进生成式大型语言模型在机器翻译中的进步。

    Jan, 2024

  • 插入并玩：一种控制文本生成的提示调整方法

    利用小型语言模型进行 Prompt 调整，使用提示嵌入对生成文本进行控制，验证其在情感分析、正式度和有害语言领域的有效性。

    Apr, 2024