Jul, 2020

野外演讲者日志检测

PDF
TL;DR本研究旨在使用自动化音频视觉分离方法对 YouTube 视频进行说话者分割。研究将自己设计的说话者模型运用于半自动数据集创建流程中，从而显著减少注释视频所需的时间。通过这种方式，研究人员成功地发布了一个名为 VoxConverse 的大规模分离数据集。
speaker diarisationyoutube videosactive speaker detectiondiarisation datasetsemi-automatic dataset creation
发现论文，激发创造
  • AVA-AVD: 野外音视频说话人分离

    本研究致力于提高在野外视频中识别 “谁何时说话” 的音视频扬声器分离的准确性，它创建了 AVA 音频 - 视觉扬声器分离（AVA-AVD）数据集和一种称为 AVR-Net 的新方法，通过加入 AVA-AVD 数据集的训练可以在相对较小的数据集上显着提高结果。

    Nov, 2021

  • 现实世界会议的音视频发言人分离技术

    该论文利用周围视视频和单通道或多通道音频生成强大的发言人识别输出，在真实世界会议中展示出优异的定量和定性性能，并探究了在可用多通道音频的情况下，通过集束成形和视频协同使用，进一步提高性能的方法。

    Jun, 2019

  • 自监督学习用于音视频发言人分离

    提出自监督的音视频同步学习方法，通过引入动态三元组损失和多项式损失函数来解决说话人分离问题，结果表明该方法在人机交互系统中大幅提高了 F1 分数和降低了分离误差率，并且介绍了一个新的大规模中文音视频语料库。

    Feb, 2020

  • VoxCeleb：一个大规模的说话人识别数据集

    本文介绍了一种基于计算机视觉技术的全自动管道，用于从开源媒体中创建一个大规模的必须文本无关语音识别数据集，并在其上应用和比较不同的演讲者识别技术以建立性能基线。

    Jun, 2017

  • 深度音视频语音增强对话

    本文提出了一种深度视听语音增强网络方法，借助于对应视频中的嘴唇信息，能够在多人同时说话的情境下，从语音信号中分离出个人的发言，该方法适用于训练时未涉及到的说话者，并在不受限制的环境下，展现了出色的定量和定性效果。

    Apr, 2018

  • MiniVox 中作为全在线学习问题的说话人分离

    本研究提出了一种新型的机器学习框架，可以在完全在线学习的情况下实现实时的多说话者辨识和识别，同时通过半监督和自监督学习方法解决了在线学习中出现的奖励呈现问题，并提供了一个可以交互处理冷启动问题的可行的基于网络的识别系统。

    Jun, 2020

  • 跨模态监督学习视频中的活动发言者检测

    本文利用音频监督视频中活跃讲话者检测的学习，通过声音活动检测 (VAD) 以弱监督的方式指导基于视觉的分类器学习。使用时空特征进行分类，学习人特定的模型以及在线适应性的改进，利用时间连续性克服了缺乏干净训练数据的问题。通过跨模态学习，不需要监督，将知识从一种模式传递到另一种模式，建立了自学习活跃讲话者检测系统。

    Mar, 2016

  • VoxCeleb2：深度语音说话人识别

    本文介绍了一个大规模的音频 - 视觉说话人识别数据集，用于使用卷积神经网络模型和训练策略在各种条件下有效识别声音中的身份，并展示出比以前的成果更高的性能表现。

    Jun, 2018

  • 走向真实场景的端到端演讲者分离

    本文提出了一种吸引子模型的端到端系统，通过训练模拟数据集来适应于野外含有更多发言者的情况，并且使用注意力机制增强网络容量来识别更多的发言者吸引子。虽然这种模型只是基于音频的，但是在 AVA-AVD 基准数据集中取得了明显优于只有音频或音视频有关的基线模型的破纪录成果，将分离误差绝对值减少了 23.3%。

    Nov, 2022

  • 基于时空贝叶斯融合的音视频说话人分离

    本文介绍了一种音视频 “位置时间标记” 模型，其中多人视觉跟踪与多重语音源定位相结合，通过一种音视频融合方法对话音频信号进行了分离，从而能够同时处理多人的语音信号。该模型在多方交互的情况下处理多人同时发出的语音信号，解决了多人语音辨别问题。

    Mar, 2016