ACLMay, 2020

情感风格转移的挑战：基于词汇替换管道的探索

PDF
TL;DR我们提出了情感风格转移的任务，并设计了基于三个步骤的透明情感风格转移流程，其中包括选择最有前途的单词进行替换，使用词汇和分布语义找到替代单词的候选集以及使用包括内容、情感和流畅性等组成的客观函数选择最有前途的替代组合。通过自动化和注释研究，在推特上进行量化评估，发现调整内容和情感的同时是冲突的目标。
发现论文，激发创造
  • 神经 TTS 中的文本驱动情感风格控制与跨说话人风格转移

    该论文提出了一种基于文本的情感风格控制接口和跨说话人风格转移方法，利用双模态风格编码器以及新的风格损失函数，实现高质量的表达性语音合成。

    Jul, 2022

  • 通过操作语音风格潜在因素进行跨说话人情感转移

    本文提出一种基于潜在风格空间中的矢量算术方法的跨说话人情感转移和操纵研究，可以使用仅有的几个标记样本从阅读风格语音生成情感语音，并且情感强度可以轻松控制，保留了说话人的身份。实验结果表明这种方法在表达性、自然度和可控性方面具有优越性。

    Mar, 2023

  • 基于表情符号的情感转移学习

    该研究使用迁移学习的方法，利用表情符号编码的情感信息来提高各种情感任务的表现，发现单语言学习的源任务具有优势，并在三种条件下分析了转移学习的有效性。

    Feb, 2021

  • 利用心理语言学特征和 Transformer 提升基于文本的情感检测的泛化能力

    本文采用基于转换器模型和双向 LSTM 网络的方法，结合心理语言学特征进行基于文本的情感检测，在两个基准数据集中表现出可比性，在六个统一情感数据集的迁移学习实验中表现出强大的跨领域泛化功能。

    Dec, 2022

  • 利用语言模型探索语音风格空间：无情感标签的情感合成

    设计了一个新颖的两阶段框架 TEMOTTS，用于基于文本的情感语音合成任务，该框架在没有情感标签和文本提示的情况下进行训练，并能够无需辅助输入进行推理。利用 BERT 学习的语言空间和全局风格标记构建的情感风格空间之间进行知识转移，实验证明了该框架的有效性，提高了情感准确性和自然度。这是第一个充分利用口头内容与表现风格之间情感相关性的情感语音合成研究之一。

    May, 2024

  • TranSTYLer: 多模态行为风格转换用于面部和身体姿势生成

    使用 TranSTYLer 模型，该模型基于多模态转换器，可以在保留行为形状的同时，将一个虚拟代理人的行为表现风格转移到另一个代理人身上，同时确保传达源行为的含义为主。

    Aug, 2023

  • 语音情感识别中的非监督语音风格转移数据增强

    该文研究了语音情感识别中数据不足的问题，提出了一种称为 EmoAug 的情感样式转移模型，该模型可以用来增强音频数据的情感表达，包括应对数据不平衡的问题，实验表明该模型在提取语音情感特征方面的效果显著优于现有方法。

    Nov, 2022

  • 情感嵌入用于情感、语言和标注格式之间的知识转移

    本文研究了如何使用多语言模型和 Demux 来建立一个能够在不同配置之间转换的单一情绪识别模型，其中 Demux 能够预测多种情绪，并在它们的情感嵌入中进行操作，从而允许我们动态地更改模型预测的情绪群集。我们表明，Demux 能够在零样本学习的方式下转移知识到新的语言、新的标注格式以及未见过的情感。

    Oct, 2022

  • 野外情感语音识别中的跨模态转移

    本篇研究提出一种基于面部表情的情感识别的无监督学习方法，通过跨模态蒸馏将面部表情标注传递到语音领域，用于语音情感识别，实现了在未标注音频数据下学习语音情感表示的目标。

    Aug, 2018

  • 提升无文字语音翻译中的表达能力转移

    通过离散语音单元级别的多语情感嵌入，以及有效地预测目标语言中的语音单元的音高和持续时间，本研究展示了一种能够有效捕捉跨不同语言的表达能力的新方法，通过客观和主观实验，结果显示本方法在提高传达情感和文化细微差别方面优于当前先进系统的表达能力转移。

    Oct, 2023