Apr, 2022

提高端到端神经分离模型模拟对话自然度

PDF
TL;DR研究了一种用于模拟自然对话的方法，用于训练端到端神经音频分离技术（EEND），并提出了一种考虑交替对话方式的模拟方法，用于在缺乏真实语音数据的情况下，优化 EEND 模型的训练。通过对 CALLHOME 和 CSJ 数据集的实验结果表明，使用这种方法模拟数据有助于提高 EEND 的性能表现。
natural conversationend-to-end neural diarizationsimulation methodspeaker transitiondiarization performance
发现论文，激发创造
  • 不嵌入说话者：长形式神经辨说的无嵌入方法

    在本文中，我们提出了一种新的框架，将神经联合抄录模型（EEND）应用于长篇音频，既不需要单独的说话者嵌入，又能够在本地和全局上实现显著的相对 DER 降低以及处理时间的计算复杂性探索。

    Jun, 2024

  • 基于 ASR 的端到端神经化分离

    本文提出基于 Conformer 的端到端神经口头日记（EEND）模型，该模型利用从自动语音识别（ASR）模型导出的语音输入和特征。通过将 ASR 特征与声学特征相结合，采用新的自注意力机制来建立鲁棒的说话人表示，并使用多任务学习来最小化 ASR 特征的分类损失和日记化损失，将其应用于 Switchboard+SRE 数据集上的两个讲话人英语对话中，相对于基线，利用 ASR 特征的多任务学习最有效，在词汇位置信息下将 DER 降低了 20％。

    Feb, 2022

  • 基于辅助网络的面向单词级端到端神经说话者日志线任务

    我们提出了具有辅助网络的 Word 级端到端神经化登记（WEEND），这是一种多任务学习算法，能够在相同的神经架构中同时执行端到端自动语音识别（ASR）和说话人登记。实验结果表明，WEEND 在所有 2 个说话人短格式场景​​上优于基线系统，并且具有推广到 5 分钟音频长度的能力。尽管 3 个或更多说话人的对话更困难，但我们发现通过足够的领域内训练数据，WEEND 有潜力提供高质量的登记文本。

    Sep, 2023

  • DSTC6 中的端到端对话建模赛道

    本文提出基于人人对话数据的挑战赛以训练端到端对话模型，实现了端到端的对话任务，模拟了客户服务的各种情况。

    Jun, 2017

  • E2E NLG Challenge 发现

    本文介绍了第一个共享的自然语言生成（NLG）的端到端（E2E）口语对话系统实验结果。E2E NLG 共享任务旨在评估这些新方法是否能够通过从高词汇丰富度，句法复杂度和多样化的话语现象的数据集中学习来生成更高质量的输出。

    Oct, 2018

  • 在端到端神经语音分离中利用说话者嵌入识别双方讲话的情景

    本研究通过将发言者信息嵌入到端到端系统中，提高了发言者辨识能力，并保持了处理语音重叠的优势，通过多种方法将这些嵌入与声学特征相结合。同时，对处理静默帧、提取发言者嵌入的窗口长度和变压器编码器尺寸进行了深入分析。在 CallHome 数据集上对双发言者分析任务进行了全面评估，结果表明相对于基准端到端模型，发现有了显著的降低对话错误率，相对提高了 10.78%。

    Jul, 2024

  • 利用神经分析和合成框架进行端到端神经歌手消声的歌曲数据清洗

    我们提出了一种数据清洗方法，利用神经分析和合成（NANSY++）框架训练了一种端到端神经分离模型（EEND）用于歌手分离。我们的方法通过利用预训练的 NANSY++ 将合唱声变为干净、非重叠的音频信号，从而减轻了合唱声对独唱声的错误标注，并在可用的歌曲数据大部分包含合唱段落的情况下，帮助有效训练 EEND 模型。通过对带有注释的流行二重唱歌曲数据集进行实验证明，我们的方法使分离误差率提高了 14.8 个百分点。

    Jun, 2024

  • 目标导向对话中自然变化的影响

    探究自然变化对神经对话系统的影响，提出了两个考虑用户自然变化的新数据集，发现 BossNet 和 GLMP 等最新端到端神经方法在这些数据集上的表现严重下降。

    Oct, 2020

  • 基于编码器 - 解码器吸引子的未知数量说话者端到端分离

    该论文提出了一种基于编码器 - 解码器的吸引因子计算方法，该方法可灵活地生成不同数量的吸引因子，用以支持不同数量的说话人，并利用传统的自我注意力端到端神经说话人分离网络（SA-EEND）来提取讲话嵌入序列和生成说话人活动，实验结果表明，相对于传统的基于聚类的说话人分离模型和端到端模型，该方法分别在模拟的双说话人条件和未知说话人数量的条件下都取得了更好的说话人分离性能。

    May, 2020

  • 走向真实场景的端到端演讲者分离

    本文提出了一种吸引子模型的端到端系统，通过训练模拟数据集来适应于野外含有更多发言者的情况，并且使用注意力机制增强网络容量来识别更多的发言者吸引子。虽然这种模型只是基于音频的，但是在 AVA-AVD 基准数据集中取得了明显优于只有音频或音视频有关的基线模型的破纪录成果，将分离误差绝对值减少了 23.3%。

    Nov, 2022