Dec, 2022

基于 T5 编解码器软提示调整的受控文本生成并分析生成文本在 AI 中的效用

PDF
TL;DR本文提出了一种新的软性提示调整方法，通过在 T5 模型的编码器和解码器级别都使用软性提示实现控制性文章生成，并研究了一个附加的软提示与 T5 模型的解码器相关性表现。作者通过内在和外在评估，以及人工生成数据，发现这个模型在与仅在编码器级别使用单个软提示的 T5 模型相比，在产生更好的结果。并且使用这个人工生成的数据进行的情感分类器训练可以产生与使用真实标记的数据训练的分类器相当的分类结果，并且分类器的决策与输入文本内容具有可解释性。因此，此模型可以将生成的文本用于 AI 相关任务。
发现论文，激发创造
  • 智能人工代理数据增强的可控文本生成

    通过文本生成技术，使用编码器 - 解码器生成模型来增加受训人工智能代理的训练数据，从而实现更快地开发新功能。该方法需要直接优化，适用于有限的数据，并明显优于以往的受控文本生成技术。此外，生成的数据用作外在意图分类任务的附加训练样本，增强了低资源情况下高达 5％绝对 f-score 性能的表现，证实了该方法的实用性。

    Oct, 2019

  • 插入并玩：一种控制文本生成的提示调整方法

    利用小型语言模型进行 Prompt 调整，使用提示嵌入对生成文本进行控制，验证其在情感分析、正式度和有害语言领域的有效性。

    Apr, 2024

  • 属性控制的对话提示

    该论文介绍了一种新颖的基于实例控制代码的提示调整算法来探索其对于对话生成的影响，该算法不同于传统的离散提示和连续提示，可以适应输入变化较大的任务，如开放领域对话生成，并在经典数据集上实验证明其比提示基线更好，而参数却只需用到总计量的 5-6%。

    Jul, 2023

  • 利用自然语言提示控制语音合成中的情感

    我们提出了一种通过由情感丰富的文本衍生出的嵌入来作为提示信息的系统，通过在基于 Transformer 的架构内多次集成发言者和提示信息的联合表示。我们的方法在合并情感语音和文本数据集上进行训练，并在每次训练迭代中变化提示信息，以增加模型的泛化能力。客观和主观评估结果表明，该条件合成系统能够准确地将提示中的情感转移到语音中。同时，保持了发言者身份的精确可追踪性以及整体的高话语质量和可理解性。

    Jun, 2024

  • 指令调优时代的可控文本生成

    基于 Instruction-tuned 模型的可控文本生成，使用基于提示的方法超过了其他可控文本生成方法，在大多数数据集和任务上匹配人类表现，突出了对更多约束和具有挑战性的风格任务的研究的需求。

    May, 2024

  • 一种插拔式控制文本生成方法

    通过向语料库单词的概率分布添加位移来控制语言生成，能保证给定的关键词出现，相比类似方法具有更高的效果。

    Sep, 2021

  • 可控文本朗读：基于文本描述的文本朗读系统

    本研究开发了一个名为 PromptTTS 的语音合成系统，利用文本描述来指导语音的生成，从而实现了对语音风格的精确控制。与已有的控制语音风格的技术相比，PromptTTS 更加用户友好。实验表明，PromptTTS 可以生成具有精确风格控制和高质量的语音。

    Nov, 2022

  • 面向开放域创造力和公平性的可控文本生成

    本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性，包括层级生成和约束解码，并应用于故事、诗歌、比喻语言的创意生成，以及减少生成模型的社会偏见。

    Sep, 2022

  • 使用扩散模型进行受控训练数据生成

    这项研究提出了一种利用反馈机制来控制文本到图像生成模型，以生成对监督学习特别有用的训练数据的方法，并且通过引入指导目标分布的反馈机制，演示了该方法在不同任务、数据集和架构上相对于开环方法的有效性。

    Mar, 2024

  • 无监督可控文本形式化

    本文提出了一种新颖的可控自然语言转换框架，通过深度神经编码 - 解码器和辅助模块的加强以及基于自然语言处理工具的评分器来实现无监督训练，将其应用于正式化文本的任务中，实验表明该模型在转换文本并引入适当的正式设定方面表现良好，代码和数据集已供学术使用。

    Sep, 2018