May, 2022

缩小韵律差距：遗传算法结合人类有效采样情感韵律

PDF
TL;DR提出一种名为 “Genetic Algorithm with People”（GAP）的方法，该方法集成了人类的决策和生产过程，以有效地采样情绪语音空间并捕捉广泛的情绪范围，支持大规模跨文化研究。
emotional speechacousticsgenetic algorithm with peopleprosodycrowd-sourcing
发现论文，激发创造
  • 利用异构图神经网络生成情感对话

    本文提出了基于异构图模型的情感对话生成方法，利用对话历史记录、情感流、面部表情、音频和说话人个性等多维信息来编码对话内容并生成适当情感的响应，实验结果表明，该方法可以有效地感知多源知识并生成令人满意的响应。

    Dec, 2020

  • 具条件的顺序生成对抗网络下基于语音的表情丰富的说话嘴唇模型

    该论文提出了一种基于条件生成对抗网络的技术，该技术能够通过提取的带感情的语音特征来生成具自然性和表现力的口型动画，实验结果表明该技术与三种最先进的方法相比在客观和主观上都有明显的改进。

    Jun, 2018

  • 情感和说话者条件下的语速生成

    使用 CREMA-D 数据集，利用带情感的 GAN 生成相对于中性语音的音素长度，可以提供给 TTS 系统以生成更具表现力的语言。使用 IMLE 训练的生成模型也能够实现更好的中性语音机器生成，但仍需进一步主观评价的研究。

    Jan, 2023

  • 情感手势：协同语音的多样情感共述三维手势生成

    EmotionGesture 是一种从音频生成真实共语手势的新型框架，其中通过情感节奏 - 振幅 - 对齐提取情感和音频节拍特征，并使用空间 - 时间提示器模型空间 - 时间相关性以生成空间 - 时间相关的提示，然后再用转换器模型生成 3D 共语手势，并通过运动平滑性添加稳定性来提高性能，并能够通过情感条件 VAE 生成丰富多样的情感结果。

    May, 2023

  • 混合情感语音合成

    本研究提出一种新的情感文本转语音框架，通过量化不同情绪之间的差异，训练模型并控制模型在运行时生成所需的情感混合，实现了语音情感合成研究中的情感混合模拟。

    Aug, 2022

  • 情感社交人形智能系统

    本文提出了一种智能虚拟助手，可通过情感语义解释人类语音情感， 并且通过声音风格转移和人工生成方法生成特定情感的声波，使得与之互动的人有更好的体验。

    Apr, 2023

  • 高保真的通用情感交流人脸生成 —— 基于多模态情感空间学习

    本研究提出了一种更灵活、更通用的基于文本、图像和语音情感模态的多模情感编码器，以及一个面向情感的音频到 3DMM 转换器和一个高保真情感脸生成器，通过充分利用深度神经网络，实现了情感控制的灵活性和可扩展性，进而提高了合成图像的质量和细节。

    May, 2023

  • 情感可控泛化说话脸生成

    本文提出了一种面部生成方法，使用基于语音内容特征的图卷积神经网络，结合独立的情感输入，生成面部几何感知标记表示上的情感和语音感应运动，并在此基础上，利用光流引导的纹理生成网络生成纹理。

    May, 2022

  • 情感演讲合成与丰富的精细控制

    本论文提出了一种有效的情感控制方法，用于端到端的文本到语音（TTS）系统，使用嵌入向量表示 TTS 输入并结合了内外情感距离比算法和插值技术来提高发音的表现力和可控性。主观评估表明所提算法优于传统方法。

    Nov, 2019

  • 情感对话生成的句法限制双向异步方法

    本文提出了一种通过语法约束、异步引入情感和话题关键词来增强生成回复多样性、提高逻辑和情感比较的模型，相对于现有方法极大改善了传统神经语言模型产生通用回答、缺乏逻辑和情感的问题。

    Jun, 2018