Jul, 2019

学习优化针对特定领域的归一化以实现领域泛化

PDF
TL;DR本研究提出了利用深度神经网络的多源域泛化技术，通过引入特定于各个领域的优化归一化层。在每个域中，根据多个归一化统计的加权平均值对激活值进行归一化处理。并且在实现中使用批和实例归一化，以确定这两种归一化方法的最佳组合，优化学习模型的通用性。本方法在标准域泛化基准测试中展示了当前最高的准确率，同时适用于诸如多源领域适应和带有标签噪声的域泛化等进一步的任务。
multi-source domain generalizationdeep neural networksoptimization normalization layersbatch normalizationinstance normalization
发现论文，激发创造
  • 针对特定领域的批量归一化在无监督领域适应中的应用

    提出了一种基于领域特定批量归一化的深度神经网络的新型无监督领域自适应框架，其中包括估计目标领域示例的伪标签和使用多任务分类损失进行源和目标域的学习，实现了多源领域自适应场景的全面优化。

    May, 2019

  • 深度域泛化的批归一化嵌入

    该研究提出一种基于批标准化和集成模型的域泛化方法，以在不同和未知的领域中提高机器学习模型的鲁棒性和分类准确性。

    Nov, 2020

  • 最佳来源前进：通过源特定网络进行域通用化

    通过引入多个特定于源域的分类器，利用预测目标样本属于每个源域的概率进行最优融合，并引入一个域不可知组件来支持最终分类器，我们的深度学习模型在两个公共基准测试上表现出很强的泛化能力。

    Jun, 2018

  • 实用域自适应的 Batch Normalization 重新审视

    本文提出了一种称为自适应批量归一化（AdaBN）的方法来提高深度神经网络的泛化能力，无需额外组件或参数，并证明其在领域适应任务和现有方法相结合时具有卓越的性能表现。

    Mar, 2016

  • NormAUG：基于归一化指导的领域泛化增强

    通过数据增强和集成策略，提出一种名为 NormAUG 的简单而有效的方法来解决深度学习中由于领域转移而导致的性能下降问题，并在多个基准数据集上进行了广泛实验来验证其有效性。

    Jul, 2023

  • 通过学习领域感知的批归一化实现测试时域自适应

    通过仅操作 BN 层以减少学习干扰和提高域知识学习，结合自我监督学习提供监督，以及使用元学习强制辅助分支与主分支目标对齐的双层优化，我们的方法在五个真实领域转移数据集上优于其他方法。

    Dec, 2023

  • 通过协方差归一化实现高效多域网络学习

    本论文研究了深度神经网络的多领域学习问题，并提出了一种自适应层和称作协方差规范化（CovNorm）的简单方法来减少其参数。实验证明，在目标数据集顺序或同时可用的情况下，CovNorm 可以与全面调整的网络具有相当的性能。

    Jun, 2019

  • 预训练网络的少样本领域适应

    提出了一种少样本领域自适应框架，通过受目标域的一个小支持集合监督的预训练源模型中的特征标准化统计的约束优化，可改善源模型的分类性能，实验证明该方法优于测试时适应方法，并且没有实时流条件的限制。

    May, 2022

  • 通过渐进式学习和自适应蒸馏在适配器中利用归一化层进行跨领域少样本学习

    我们介绍了一种新的通用框架，利用适配器中的归一化层和渐进学习自适应蒸馏（ProLAD），解决了跨领域少样本学习中的批次统计偏移和噪声样本统计的问题，通过两个不同的适配器和自适应蒸馏技术，我们的方法在标准的跨领域少样本学习基准中表现出超越现有最先进方法的性能。

    Dec, 2023

  • 参数增强的神经网络域适应

    本文提出了一种简单的领域自适应方法，可以应用于使用交叉熵损失训练的神经网络，在字幕数据集上展示了该方法相对于其他领域自适应方法的表现提高。

    Jul, 2016