Sep, 2019

DurIAN: 基于时长信息的注意力多模态合成网络

PDF
TL;DR本文提出了一种通用、强大的多模态合成系统，可以同时生成自然语音和面部表情，并能改善现有的端到端语音合成系统中的词跳过 / 重复错误，同时可以对语音和面部表情的表现力进行细粒度控制。
multimodal synthesisspeech generationfacial expressionend-to-end speech synthesisexpressiveness control
发现论文，激发创造
  • AdaDurIAN：利用 DurIAN 进行神经文本转语音的少样本适应

    本文介绍了一种基于改进后的 DurIAN 模型的 AdaDurIAN 方法，可在很少的单语言数据的情况下，使新的说话人发音准确、流利地进行跨语言交流，并在情感转换任务中表现出良好的性能。

    May, 2020

  • DurIAN-SC: 能够考虑音长信息的歌声转换注意力网络系统

    本文介绍了一种歌声转换算法，可以使用目标讲话者的正常语音数据生成高质量的目标讲话者歌声，并大大提高了歌声转换系统的鲁棒性和转换效率。

    Aug, 2020

  • JDI-T: 基于时长信息的联合训练变压器语音合成模型，无需显式对齐

    本文提出了 JDI-T 模型，它是一个带有持续时间预测器的前馈 Transformer，经过联合训练可以从输入文本生成声学特征序列。该模型是第一个在单一训练过程中联合训练前馈 Transformer，而无需依赖预先训练的音素持续时间提取器。在公开数据集 KSS 上与基线 ESPnet-TTS 模型进行比较，实验证明该模型有效性较高。

    May, 2020

  • 基于音频驱动的面部动态表情多样而逼真的生成技术

    DIRFA 是一种新的方法，可以通过基于 Transformer 的概率映射网络生成出同一音频驱动下具有多样化但真实面部动画的语音合成人脸，并能通过源图像使用通用生成网络合成出逼真的说话人脸。

    Apr, 2023

  • 面向场景感知对话系统的多步骤多模态注意力网络

    本文提出了一种基于循环神经网络的多步关注机制的多模态联合注意网络（JMAN），用于对视频进行推理，该模型在每个推理过程中联合考虑了视觉和文本表示，以更好地集成两种不同模态的信息。与 AVSD 组织发布的基线相比，我们的模型在 ROUGE-L 得分和 CIDEr 得分上相对提高了 12.1％和 22.4％。

    Jan, 2020

  • 人类交流理解的多注意力循环网络

    本文介绍了一种名为多注意力循环网络（MARN）的人类交流理解神经架构，通过使用多注意力块（MAB）的神经组件，MARN 致力于发现和存储影响人际交往的互动，并在多模态情感分析、说话者特质识别和情感识别方面显示出最先进的性能。

    Feb, 2018

  • 多模式统一关注网络用于视觉语言交互

    本研究提出了一种统一的注意力模型，能够同时捕捉多模态特征的内部和跨模态之间的相互作用，并输出相应的注意力表示。通过堆叠这样的统一注意力块，我们获得了深度多模态统一注意力网络 (MUAN)，可以无缝地应用于视觉问答 (VQA) 和视觉定位任务。通过在两个 VQA 数据集和三个视觉定位数据集上评估 MUAN 模型，结果表明 MUAN 在两个任务上都实现了顶级性能。

    Aug, 2019

  • 视频中时间语言定位的细粒度迭代注意力网络

    本文提出了一种基于 Fine-grained Iterative Attention Network (FIAN) 的跨模态时间语言定位方法，该方法采用内容定向定位策略而非现有的基于 Anchor 的方法，并在多个公开基准测试中表现出优异的性能。

    Aug, 2020

  • RealTalk：基于 3D 面部先验引导的身份对齐网络的实时和逼真的音频驱动人脸生成

    该论文提出了一个新颖的通用音频驱动框架 RealTalk，包括音频到表情转换和表情到人脸渲染两个组成部分，通过跨模态注意力对丰富的面部先验信息进行对齐，以实现高精确度的唇语同步和实时生成高质量的面部图像。该方法在公共数据集上进行的实验结果表明，它在唇语同步和生成质量方面具有明显的优势，并且具有高效且需要较少计算资源的特点，非常适合实际应用。

    Jun, 2024

  • DiSAN: 面向无 RNN/CNN 的语言理解的定向自注意力网络

    提出了一种新颖的方向性多维度自注意力机制 DiSAN，用于句子编码，相对于复杂的 RNN 模型，它在预测质量和时间效率方面表现更好，并在多个数据集上得到了最优的测试准确性表现。

    Sep, 2017