通过协方差归一化实现高效多域网络学习
本研究提出了利用深度神经网络的多源域泛化技术,通过引入特定于各个领域的优化归一化层。在每个域中,根据多个归一化统计的加权平均值对激活值进行归一化处理。并且在实现中使用批和实例归一化,以确定这两种归一化方法的最佳组合,优化学习模型的通用性。本方法在标准域泛化基准测试中展示了当前最高的准确率,同时适用于诸如多源领域适应和带有标签噪声的域泛化等进一步的任务。
Jul, 2019
介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization),它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中,通过提高权重的正交性和每层的通道等距性,减小权重矩阵的层范数,提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。
Mar, 2021
通过 Affine Collaborative Normalization(AC-Norm)方法,本研究对医疗应用中有限注释数据的性能进行优化,在多个任务中改进目标模型的性能并提高模型迁移能力。
Jul, 2023
提出了一种基于领域特定批量归一化的深度神经网络的新型无监督领域自适应框架,其中包括估计目标领域示例的伪标签和使用多任务分类损失进行源和目标域的学习,实现了多源领域自适应场景的全面优化。
May, 2019
通过引入迭代矩阵平方根归一化方法,本文提出一种针对全局协方差池化网络的快速端到端训练方案,相比于依赖于 GPU 有限支持的 EIG 或 SVD 的方法更加高效,并且可以在更少的 epoch 内获得更好的性能。
Dec, 2017
该研究提出了一种适用于高维度、小样本场景的全局矩阵幂归一化协方差池化, 并引入了一个全局高斯嵌入网络来融合一阶统计信息。此方法在大规模对象分类、场景分类、细粒度视觉识别和纹理分类方面的实验表明,其优于现有的方法,并取得了最佳效果。
Apr, 2019
本文研究如何进行领域自适应,特别是无监督领域自适应。通过使用神经网络并对其隐藏层的特征进行约束,得到了一个利用该流形上的理论上合理测地线距离的损失函数,从而比以前的方法表现更好。
May, 2017
该论文讨论了深度神经网络训练中的内部协变量漂移问题,并通过在模型架构内加入标准化方法及在每个训练 mini-batch 的操作中进行标准化,解决了此问题,在 Image Classification 上取得了优秀的表现。
Feb, 2015
本文提出了一种条件域归一化(CDN)方法,用于将不同域的信息编码到共享的潜在空间中,此方法可以适应不同级别表示的域漂移,经过实验表明在 2D 和 3D 检测中,与现有的方法相比,CDN 的表现有了显著的提升。
Mar, 2020