推理时音频场景分类的领域信息控制

Jun, 2023

推理时音频场景分类的领域信息控制

Domain Information Control at Inference Time for Acoustic Scene Classification

Shahed Masoudian, Khaled Koutini, Markus Schedl, Gerhard Widmer, Navid Rekabsaz

TL;DR本文在声学场景分类任务中使用可控门适配器 ConGater，以使模型对设备领域漂移具有选定的适应性并体现出最大的泛化能力。

Abstract

domain shift is considered a challenge in machine learning as it causes significant degradation of model performance. In the Acoustic Scene Classification task (ASC), domain shift is mainly caused by different re

domain shift acoustic scene classification controllable gate adapter congater device domain shift model generalization

发现论文，激发创造

IEEE ICME 2024 大挑战赛：领域偏移下的半监督声学场景分类

在 ICME 2024 大挑战中，我们引入了半监督领域迁移音景分类任务，鼓励参与者创新半监督学习技术，旨在开发更具鲁棒性的 ASC 模型。

Feb, 2024

基于转录器的自动语音识别域自适应过程中的损伤控制

本文探讨了如何同时适应新领域和限制模型在原领域的准确性降低的问题，提出了几种技术，如限制培训策略和规范化适配器模块，应用于 Google Speech Commands 和英国爱尔兰英语口音数据集，并在新的目标域上取得了良好的结果并限制了原始领域上的恶化。

Oct, 2022

使用门控适配器进行有效的可控偏差缓解的分类和检索

这篇论文介绍了一种名为 Controllable Gate Adapter（ConGater）的新型模块化门控机制，其具有可调节的灵敏度参数，可以在推理时从有偏态的模型逐渐过渡到完全去偏态的版本，该机制可以在实践中调节偏倚减少的程度以实现性能和公平性之间的权衡。

Jan, 2024

基于模块化领域自适应的 Conformer 流式自动语音识别

本文提出了一种名为模块化域自适应的框架，通过向 Conformer 编码器中添加适合各个域的适配器和前馈网络，使单个 Conformer transducer 模型能够处理各个领域的语音数据，从而大幅提升了语音识别的性能。

May, 2023

跨视频领域的音频自适应活动识别

本研究提出了一种基于音频自适应编码器和相关学习方法的活动识别方法，通过处理活动声音进行域自适应，进而解决活动出现场景或视角变化等域漂移问题。实验证明该方法在多个数据集上均有良好表现。

Mar, 2022

文本独立取证发言人识别的多源领域自适应

本研究提出了基于领域对抗训练、差异最小化和矩匹配方法的三种新的自适应方法，以在多个声学领域中进一步提高自适应性能。实验表明，多种声学环境确实会影响讲话者识别性能，并且领域对抗训练、差异最小化和矩匹配自适应都能在多个声学领域中同时实现有效性能。

Nov, 2022

无监督领域分离网络的自适应算法用于强化语音识别

本文提出了一种基于深度神经网络的非监督领域自适应技术，该技术通过训练既能执行音素分类，又能执行领域分类的 DNN 模型，并明确建模两个域之间的不同之处，可以在 CHiME-3 数据集上实现接近 11.08％的相对词错误率（WER）降低。

Nov, 2017

通过因果调整实现跨域情感分析的领域泛化

本文研究领域适应在跨领域情感分析中的应用，提出基于背景调整的因果模型来解决领域转移问题，并在多个数据集上与现有方法进行了比较。

Feb, 2024

使用平滑和校准的逐步增量领域自适应，用于外科报告生成

提出了一种基于多层变压器的模型的分类增量域自适应（CIDA）方法，用于在机器人手术过程中生成手术报告，并对其进行了实证评估。

Jul, 2021

音频频谱变换器中基于频率归一化的录音设备通用性改进

本文针对机器学习中训练和应用时间所见数据差异这一主要问题，研究了声场分类中不匹配的录音设备情况。我们发现，通过频率方面的规范化进行输入和卷积神经网络中隐藏层激活的处理，可以减少记录设备之间的差异。本文的主要目标是将这种方法应用于成为声场分类主流模型的音频谱图转换器上，并且针对该模型考察了不同的录音设备特征如何被编码到隐藏层激活中。基于这个观察，我们推断出对输入谱图进行抑制可达到最有效的去除记录设备特征的效果。我们提出了一种频率居中的谱图操作，平均提高了未经训练的录音设备上的 ASC 性能达 18.2 个百分点。

Jun, 2023