Mar, 2022

自助学习语音表示的剪枝辅助域适应

PDF
TL;DR本文提出了一种名为 PADA 的方法，其中通过修剪已预训练在大量跨领域（OOD）数据上的模型中的冗余权重，帮助目标领域 ASR 微调。通过各种修剪策略的比较研究，本文探讨了基于任务对称和不对称修剪对 PADA 的影响，并提出了一种称为基于交叉领域任务感知修剪（CD-TAW）的新的修剪范式。CD-TAW 可以获得来自精细调整的 OOD 模型的初始修剪掩模。实验表明，CD-TAW 方法在没有语言模型解码的 Switchboard 数据的 2 小时子集上进行微调时相对 WER 提高了最多 20.6％。
发现论文，激发创造
  • 借助剪枝辅助的特定领域权重调节实现持续域适应

    本文提出了一种方法，旨在解决连续学习中的无监督域适应问题，通过修剪实现框架来保留特定于域的知识，并使用一种基于批次标准化的度量方法进行有效推理，取得了良好的性能，同时在防止过去领域的灾难性遗忘方面显著改善。

    Apr, 2023

  • 利用自我监督提升跨域语音识别能力

    本文提出了一种系统的无监督领域自适应框架，利用自监督方法在预训练和微调范式中充分利用无标签数据，在解决提高自监督方法在异领域性能的同时，通过提出三种创新性的调整方法，有效地提高了自适应领域的性能。

    Jun, 2022

  • PADA: 基于样例的提示学习，用于未知领域的即时自适应

    我们提出了一个基于自动回归 Prompt 学习算法的 PADA，用于实时任何领域自适应，其中生成的唯一提示作为源域特征的连续令牌序列，PADA 在多个任务中显着优于强基准。

    Feb, 2021

  • 领域增强的域自适应

    本文提出了一种基于伪领域生成的领域增强领域自适应方法（DADA），通过生成与目标域差异更小的伪领域，减小跨域偏差，进而增强知识转移过程并将标签方法应用于 DADA 模型中，结果表明该模型优秀。

    Feb, 2022

  • 辅助目标领域分类器的域自适应

    该研究提出一种名为 Auxiliary Target Domain-Oriented Classifier (ATDOC) 的模型，旨在解决在无监督域适应中伪标签分布偏移和分类器偏置的问题。该模型基于最近邻居和内存机制，在多种领域适应基准和半监督任务上显着优于领域对齐技术和先前的半监督技术。

    Jul, 2020

  • TADA: 面向 Transformer 的高效任务无关领域自适应

    本文提出了一种名为 TADA 的新颖方法，用于领域自适应，其具有模块化、参数高效和数据高效的优点，并且与完全域自适应预训练和适配器相比，具有相同或更好的性能而无需引入额外的参数或复杂的训练步骤。

    May, 2023

  • 无监督域自适应的语义分割研究及伪标记自我修正

    基于深度学习的解决方案如何在面对与训练数据不同特征的情况下，语义分割会有性能下降的问题，针对此问题提出了一种无监督领域适应的方法，利用辅助伪标签优化网络进行自训练，实验结果表明这种方法在基准数据集上的表现显著优于之前的最先进方法.

    Oct, 2023

  • 学习发现知识：一种弱监督部分领域适应方法

    本文介绍了一种简单而有效的基于自适应学习的域自适应方法，称为自适应迁移分类器学习（SP-TCL），用于解决弱监督下的部分域自适应问题，通过精心设计的损失函数发现准确知识并在遵循自适应学习方案下从源域中迭代地排除示例，实现了目标域的成功适应，多项基准测试结果表明 SP-TCL 在多个广义域适应任务中明显优于现有方法。

    Jun, 2024

  • 通过在线选择克服负迁移：远程领域自适应故障诊断

    通过在在线梯度屏蔽方法的基础上动态识别和排除与目标样本紧密相似的源样本，我们提出了一种新颖的在线选择性对抗对齐（OSAA）方法，解决了适应标签差异和源目标域之间潜在标签分布差异的问题，验证了其在实际具有严重域偏移的场景中优于现有方法的卓越性能。

    May, 2024

  • 基于提示的无监督领域自适应的分布对齐

    在本文中，我们首先实验性地证明了无监督训练的视觉语言模型可以显著减少源域和目标域之间的分布差异，从而改善无监督域自适应的性能。然而，直接在下游无监督域自适应任务中部署这些模型的一个重要挑战是及时的工程技术，需要对源域和目标域的领域知识进行对齐，因为无监督域自适应的性能受到良好的领域不变表示的严重影响。我们进一步提出了一种基于提示的分布对齐方法（PDA），将领域知识融入到提示学习中。具体而言，PDA 采用了两支分支的提示调试范例，即基础分支和对齐分支。基础分支专注于将与类相关的表示集成到提示中，确保在不同类别之间进行区分。为了进一步减小领域差异，我们为源域和目标域构建特征库，并提出了图像引导特征调试（IFT）来使输入关注特征库，从而有效地将自我增强和跨域特征集成到模型中。通过这种方式，这两个分支可以相互促进，增强 VLM 在无监督域自适应中的适应性。我们在三个基准测试上进行了大量实验，证明了我们提出的 PDA 方法达到了最先进的性能。

    Dec, 2023