Jun, 2024

ASoBO：会议中远程说话者分辨的注意力波束选择

PDF
TL;DR基于自注意力的算法用于选择固定空间滤波器的输出，从而用于联合语音活动检测和重叠说话检测的特征提取器，进而推断说话人分离。自注意力权重的分析表明其可解释性，因为它们与说话者的角度位置相关。
speaker diarizationspatial filteringself-attentionvoice activity detectionoverlapped speech detection
发现论文，激发创造
  • 基于圆谐特征的多麦克风会议自动语音分割

    本文提出了一种在远距离语音场景下解决语音分割任务，包括 VAD、OSD 和 SCD 的通用框架，使用 CH-DOA 提取的空间特征与标准声学特征相结合，实验证明可以提高分割效果，并且在停用麦克风的情况下仍然具有鲁棒性。

    Jun, 2023

  • 在线音视频会议转录技术进展

    本研究论文介绍了一种使用麦克风阵列和 360 度摄像头生成会议演讲者注释转录的系统，该系统能够处理重叠性语音并使用连续语音分离方法解决该问题。同时，还通过融合脸部跟踪和识别、声源定位、演讲者识别及先前演讲者信息的在线音频视觉演讲者日记化方法，提供了一个名为 SRD 的会议转录框架，并使用 11 名与会者的会议录音的实验结果表明，连续语音分离方法相对于高度调整的波束成形技术可将字词错误率降低 16.1％。当有完整的与会者名单时，字词错误率与演讲者归属字词错误率之间的差异仅为 1.0％，表明字词与演讲者之间的关联准确无误。当 50% 的与会者对系统不知情时，差异略有增加，为 1.6%。

    Dec, 2019

  • 会议在线发言人分化的语音分离指导

    我们介绍了一种新的基于语音分离引导的在线发言人分化方案，适用于持续变动的说话人数量的长时间会议录音。

    Jan, 2024

  • 远场语音识别的神经盲分离和发言者划分

    本文提出了一种神经方法，用于远程语音识别（DSR），它能够在没有隔离信号的监督情况下，同时分离和解麦克风混合的语音，并没有未知数量的活跃说话者。

    Jun, 2024

  • 现实世界会议的音视频发言人分离技术

    该论文利用周围视视频和单通道或多通道音频生成强大的发言人识别输出，在真实世界会议中展示出优异的定量和定性性能，并探究了在可用多通道音频的情况下，通过集束成形和视频协同使用，进一步提高性能的方法。

    Jun, 2019

  • 统一多通道远场语音识别系统：将神经波束形成与基于注意力的端到端模型结合

    我们提出了一种统一的多通道远场语音识别系统，结合了神经波束成形和基于 Transformer 的 Listen，Spell，Attend（LAS）语音识别系统，进一步扩展了端到端语音识别系统以包含语音增强，并通过共同训练来优化最终目标。

    Jan, 2024

  • 基于时空贝叶斯融合的音视频说话人分离

    本文介绍了一种音视频 “位置时间标记” 模型，其中多人视觉跟踪与多重语音源定位相结合，通过一种音视频融合方法对话音频信号进行了分离，从而能够同时处理多人的语音信号。该模型在多方交互的情况下处理多人同时发出的语音信号，解决了多人语音辨别问题。

    Mar, 2016

  • 探索口语理解中有关说话人信息以改进说话人分离

    本文介绍了一种从多方会议的语义内容中提取与讲话者相关信息进而改进说话人分离方法的方法，提出了两个子任务（对话检测和发言者切换检测）来有效地从对话语义中提取讲话者信息，并提出了一种简单而有效的算法来联合建模声学和语义信息并获得标识讲话者的文本。实验结果表明，我们的方法在 AISHELL-4 和 AliMeeting 数据集上相对于仅声学的说话人分离系统都有显著的改进。

    May, 2023

  • 使用 GMM 进行语音分离与 ASR

    本文探讨语音分离和自动语音识别两个主题。我们使用高斯混合模型和距离阈值作为停止标准来实现语音分离，在自动语音识别方面通过分析语音信号并考虑声音频率达到最小化词错误率指标的目标。

    Jul, 2023

  • 多方会议中说话人归属的自动语音识别的比较研究

    对在多方会议场景下的口语识别（SA-ASR）中的发言人进行的比较研究中，通过三种不同的方法进行了评估。结果表明，引入单词级别的划分模型可以有效降低时戳对准错误。同时，采用目标发言人分离模块和 ASR 模块联合训练可以显著提高 SA-ASR 的性能。

    Mar, 2022