Jun, 2024

婴儿中心家庭声音环境中的声音标记

PDF
TL;DR通过于婴儿身上佩戴的记录设备，我们收集并标记了 22 个家庭中家庭声音环境中的噪音，并探讨了一个大型预训练模型（Audio Spectrogram Transformer [AST]）在这些婴儿中心化的环境数据以及公开可用的家庭环境数据集上的性能表现。结果显示，将我们收集的数据集与公开数据集相结合进行精调，与仅使用公开或收集的数据集进行训练相比，F1 得分从 0.11（公开数据集）和 0.76（收集的数据集）提高到 0.84，Cohen's Kappa 从 0.013（公开数据集）和 0.77（收集的数据集）提升到 0.83。
environmental noisesinfantsyoung childrenpre-trained modelsound event detection
发现论文，激发创造
  • 分析音频质量对研究婴儿指向性语言的自然长录音使用的影响

    研究了婴儿语言习得的计算模型，并探讨了自然语音数据的音频质量对分析和实验的影响，发现采用适度高音质的自然语音数据和采用自动化声音质量评估工具能够获得与人工质量注释相当的结果。

    May, 2023

  • 噪声标签和最小监督下的音频标注

    介绍了 DCASE2019 挑战赛的任务 2，旨在使用大量嘈杂标注数据和少量手动标注数据下，评估具有 80 个声音类别的大词汇设置中的多标签音频标记系统，同时提出了一种基于卷积神经网络的基线系统和 FSDKaggle2019 数据集。

    Jun, 2019

  • 使用带有噪声标签的网络音频学习声音事件分类器

    该研究针对大型数据集中的声音事件分类中标签噪声的问题，提出了 FSDnoisy18k 数据集，并提供了卷积神经网络（CNN）基准系统。实验证明，与小型仔细标记的数据相比，大量带噪声的数据可以更好地训练模型，同时还证明了当标签数据受损时，噪声鲁棒性损失函数可以有效地提高模型性能。

    Jan, 2019

  • 婴儿和成人语音声学的低维表示

    该研究利用机器学习方法，提取婴儿和照顾者的声音，通过 UMAP 算法在二维空间中获得连续和良好分布的空间，研究发现随着婴儿年龄的增加，婴儿声音在二维空间中的分散度会增加以及婴儿声音与成人声音的相似度也会随婴儿年龄的变化而变化。

    Apr, 2022

  • 从声音学习视觉：环境声音辅助视觉学习

    用环境声音作为监督信号，训练了一个卷积神经网络以预测视频帧所关联的声音的统计摘要，进而学习到了能够传达关于物体和场景信息的表示，表现与其他最先进的无监督学习方法可比。

    Dec, 2017

  • AGS: 国内场景声音事件识别的数据集和分类系统

    本文提出了一个家庭环境声音数据集（称为 AGS），考虑了场景中各种类型的重叠音频和背景噪音，比较分析了先进的声音事件识别方法，并展示了该数据集的可靠性和新数据集带来的挑战。

    Aug, 2023

  • 使用 WASN 在室外环境中进行声音事件定位和分类

    提出了一种基于深度学习的方法，利用多个特征和注意机制来估计声源的位置和类别，在声音事件定位和分类任务中展示了超过最先进方法的优越性。

    Mar, 2024

  • 巧合、分类和巩固：学习在最小监督下识别声音

    提出一种结合机器学习中自我监督、聚类目标和主动式学习的学习框架，以改善音频表征和识别，实现新的最先进的无监督音频表征并证明了它的有效性。

    Nov, 2019

  • 基于 Wav2vec 2.0 特征的 Bag-of-Audio-Words 方法可视化复杂的家庭婴儿语音序列

    研究使用基于 ML 的音频分析方法在新型多模式可穿戴设备 LittleBeats 中进行婴儿语言交互的监测，为早期识别和干预身心健康方面的发展障碍提供了可靠的工具和分析结果。

    Mar, 2022

  • 基于真实规模的视听命名事件的早期词汇习得模型

    在一个真实的环境中，使用一种仅通过未注释的原始语音和视觉输入中的统计规律性进行学习的模型，研究证明婴儿通过统计学习能够有效地学习识别单词并将其与相应的视觉对象相关联，词汇增长的速度与婴儿观察到的相当。这一发现支持了统计学习在早期词知觉中的可行性，展示了学习可以在不假设任何先前语言能力的情况下进行。

    Jun, 2024