Dec, 2023

CONCSS: 对话语音合成中基于对比的上下文理解技术

PDF
TL;DR在本研究中，我们引入了一种基于对比学习的对话语音合成 (CSS) 框架 CONCSS，利用一种创新的预训练任务来进行自监督学习，提升模型对对话语音数据集的上下文理解能力，并引入了一种负样本扩充的采样策略来增强上下文向量的区别性，实验结果表明我们提出的方法合成的语音具有更加上下文适应和敏感的音调。
conversational speech synthesiscontrastive learningcontext representationpretext taskprosody
发现论文，激发创造
  • 异构基于图的上下文建模的对话语音合成的情感表达

    我们提出了一种新颖的情感对话语音合成模型 (ECSS)，通过引入异构图的情感上下文建模机制以提高情感理解，以及使用对比学习的情感渲染器模块来推断目标话语的准确情感风格，解决了数据稀缺性问题，并注释了现有对话数据集 (DailyTalk) 上的附加情感信息。客观和主观评价表明，我们的模型在理解和表达情感方面优于基线模型，并强调了全面的情感注释的重要性。

    Dec, 2023

  • 利用真实对话数据实现多渠道连续语音分离

    本研究提出一种可同时利用有标注数据和非标注数据进行连续语音分离模型训练的三阶段训练方案，并将其应用于任意麦克风阵列采集的多通道语音数据上取得了较好效果。

    Apr, 2022

  • 利用对话历史的语言和韵律语境进行端到端共情对话语音合成的声学建模

    提出了一种综合考虑语言和韵律话语历史的共情式对话语音合成模型，通过预训练的自监督学习模型、引入韵律特征模型等手段，实现对话语境的适当预测，取得了优秀的语音合成效果。

    Jun, 2022

  • 跨模态对比学习用于语音翻译

    本文提出了一种名为 ConST 的跨模态对比学习方法，用于端到端的语音到文本翻译，并在流行基准数据集 MuST-C 上对其进行了评估和比较。实验结果表明，相比之前的方法，该方法在不同模态语音 - 文本之间实现了更高的精确度和平均 BLEU 达到了 29.4。同时分析结果进一步证明了 ConST 获得了更好的表示学习结果。

    May, 2022

  • 面向主题感知的对比学习用于抽象式对话摘要

    通过引入一种叫做对比学习的技术来解决对话总结中信息分散和主题变化的挑战，该方法使用了两个具体的辅助任务 (coherence detection 和 sub-summary generation)，在基于原始对话总结任务上取得了最优性能，显著超过强基准模型。

    Sep, 2021

  • 图分类的对比自监督学习

    本研究提出了两种基于对比自监督学习（CSSL）的方法来缓解过拟合的问题，具体地，我们使用 CSSL 对图形编码器进行预训练，并在标记后的图形上调整预先训练的编码器。我们还开发了一个基于 CSSL 的正则化器，同时解决监督分类任务和无监督 CSSL 任务。通过数据增强的方式，定义了对比损失来学习图形编码器。实验结果表明，我们提出的方法在各种图形分类数据集上都非常有效。

    Sep, 2020

  • Sy-CON: 对称对比损失用于连续自监督表示学习

    引入了一种新型通用损失函数 Symmetric Contrastive (Sy-CON) loss 用于有效地连续自监督学习 (CSSL).

    Jun, 2023

  • Contextrast：语境对比学习用于语义分割

    通过提出的 Contextrast 方法，该论文在语义分割方面取得了显著的改进，能够捕捉到本地 / 全局上下文以及它们之间的关系，并通过利用细节解决边界区域的分割问题。

    Apr, 2024

  • 从零开始对句子嵌入进行对比学习

    本研究提出了 SynCSE，通过利用大型语言模型合成数据样本，训练具有良好性能的句子嵌入，对比试验结果显示 SynCSE 在无监督基准模型的基础上具有更好的性能。

    May, 2023

  • ASR 的对比半监督学习

    本文提出了一种名为对比半监督学习（Contrastive Semi-supervised Learning, CSL）的方法，通过挑选正负样本来替代直接预测教师生成的伪标签，并将其应用于翻译公共社交媒体视频的挑战任务中，从而比标准的交叉熵伪标签（CE-PL）减少了 8% 的 WER。

    Mar, 2021