Jul, 2024

振动声学: 用身体传导音频传感器捕捉的法语语音数据集

HTML
PDF
TL;DRVibravox是一份符合《通用数据保护条例》（GDPR）的数据集，包含使用五个不同体导音频传感器的录音：两个耳机麦克风、两个骨导振动拾音器和一个喉麦。该数据集还包含来自空中麦克风的音频数据作为参考。Vibravox语料库包含188位参与者在由高阶环绕音3D定位技术施加的不同声学条件下进行的38小时的语音样本和生理声音记录。该语料库还包括关于录音条件和语言转录的注释。我们使用最先进的模型进行了一系列与语音相关的任务的实验，包括语音识别、语音增强和说话人验证。这些实验是通过评估和比较Vibravox数据集中不同音频传感器捕获的信号的性能来进行的，旨在更好地了解它们的个别特征。
发现论文，激发创造
  • WildMix数据集和时频变换器模型用于单声道音频源分离

    本文提出了一种名为Spectro-Temporal Transformer的新型模型来解决混合音频源的分离问题，并介绍了一个挑战性的新数据集WildMix，该数据集包含来自25个不同音频类别的现场录音，使用不同的组合策略混合，该模型在该数据集上超过了各种基线模型。

    Nov, 2019

  • 无声语言的数字化发声

    本文介绍了使用静态肌电信号转换为可以听到的声音的新方法，该方法与语音训练模型相比，在肌电信号在进行无声口型时的表现有了长足提升，并共享了一个新的无声和有声肌电测量数据集。

    Oct, 2020

  • 手工制作与可学习的混合音频表示，用于认知和身体负荷下的语音分析

    本文提出了一种使用手工特征和基于数据驱动深度神经网络表示的自监督音频表示方法，用于检测语音中负荷相关的压力。此方法在多个数据集中展现优异性能，胜过传统数字信号处理方法和最新的基于深度神经网络的声音表示学习方法。

    Mar, 2022

  • 音视频语音编解码器：重新思考音视频语音增强通过再合成的方法

    本文提出了一种新的音频-视觉语音增强框架，利用个人化模型和神经语音编解码器从嘈杂的信号中高效合成真实干净的语音，以提高增强幅度和视角方面的质量。

    Mar, 2022

  • 耳内音频：面向毫瓦级音频增强的耳骨传导麦克风用于耳内传感平台

    设计和实现了基于新型商业MEMS骨导传感器的自定义低功耗无线耳塞研究平台，使用骨导数据和递归神经网络的个性化语音检测算法在少于12.8毫秒的时间内以95%的准确率检测到语音，并且，通过基于先进的Ambiq Apollo 4 Blue SoC的最终实现，在不进行任务循环的情况下，平均功耗为2.64毫瓦，每次推断消耗14微焦，使用32mAh锂离子电池可以达到43小时的电池寿命。

    Sep, 2023

  • SoundCam: 利用室内声学定位人类的数据集

    现有 RIR 数据集要么不系统地变化室内物体的位置，要么由模拟的 RIR 构成。我们提供了 SoundCam，这是迄今为止最大的野外房间独特 RIR 数据集，包括 5,000 个 10 通道真实世界房间冲激响应测量和 2,000 个 10 通道音乐录音，涵盖不同房间（实验室、客厅和会议室）内的人员在不同位置，这些测量可以用于有趣的任务，如检测和识别人员以及跟踪其位置。

    Nov, 2023

  • 灵活计数：野外人类动作范例识别与小样本计数

    本研究通过使用可穿戴设备的传感器数据来计算人类感兴趣的动作的数量，提出了一种新颖的基于样例的框架，允许用户通过发出预定义声音''one''、''two''和''three''来提供所需计数的样例。我们的方法首先从音频序列中定位这些话语的时间位置。这些位置用于识别代表感兴趣的动作类别的样例。然后，在样例和整个传感器数据序列之间计算相似度映射，然后将其输入到密度估计模块中生成一系列估计的密度值。将这些密度值相加即可得到最终的计数。我们引入了一个包含来自37个被试者和50个动作类别的真实数据的多样化和真实性的数据集来开发和评估我们的方法，其中包括传感器和音频数据。在该数据集上的实验证明了该方法在计算新类和训练数据中不包含的受试者的动作实例时的可行性。平均而言，预测计数与实际值之间的差异为7.47，显著低于基于频率和基于转换器的方法的误差。本研究的项目、代码和数据集可以在此 https URL 找到。

    Dec, 2023

  • Voxceleb-ESP：从声音中检测西班牙名人的初步实验

    VoxCeleb-ESP是一个新的说话人识别数据集，包含160位西班牙名人，涵盖了各个年龄组和地理区域，提供了两个说话人辨识任务的试验列表，并伴有基于跨语言评估的ResNet预训练模型，初步结果表明VoxCeleb-ESP在说话人识别方面的复杂性与原始且更大规模的英语数据集VoxCeleb相当。VoxCeleb-ESP为西班牙语提供了一个全面且多样化的说话人识别基准数据集。

    Dec, 2023

  • TRAMBA：一种针对移动和可穿戴平台的实用音频和骨传导语音超分辨率增强的混合Transformer和Mamba架构

    我们提出了TRAMBA——一个适用于移动和可穿戴平台的声学和骨传导语音增强的混合Transformer和Mamba架构。

    May, 2024

  • EARS: 一个用于语音增强和去混响的各向同性全频通话语音数据集的基准测试

    发布了 EARS（Expressive Anechoic Recordings of Speech）数据集，包含来自不同背景的107位说话者，总计100小时的干净、无混响的语音数据。数据集涵盖了多种不同的讲话风格，包括情感性语音、不同的阅读风格、非语言声音和自由对话式语音。通过一组仪器度量评估了数据集上的各种语音增强和去混响方法，并对语音增强任务进行了20个参与者的听力测试，优选了一种生成方法。此外，我们还引入了一个盲测试集，用于自动在线评估上传数据。数据集下载链接和自动评估服务器可以在网上找到。

    Jun, 2024