Jul, 2023

AC-Norm: 通过仿射协作归一化实现的医学图像分析有效调整

PDF
TL;DR通过 Affine Collaborative Normalization（AC-Norm）方法，本研究对医疗应用中有限注释数据的性能进行优化，在多个任务中改进目标模型的性能并提高模型迁移能力。
self-supervised learningpretraining-then-finetuningaffine collaborative normalizationtarget modeltransferability
发现论文，激发创造
  • 通过协方差归一化实现高效多域网络学习

    本论文研究了深度神经网络的多领域学习问题，并提出了一种自适应层和称作协方差规范化（CovNorm）的简单方法来减少其参数。实验证明，在目标数据集顺序或同时可用的情况下，CovNorm 可以与全面调整的网络具有相当的性能。

    Jun, 2019

  • 学习优化针对特定领域的归一化以实现领域泛化

    本研究提出了利用深度神经网络的多源域泛化技术，通过引入特定于各个领域的优化归一化层。在每个域中，根据多个归一化统计的加权平均值对激活值进行归一化处理。并且在实现中使用批和实例归一化，以确定这两种归一化方法的最佳组合，优化学习模型的通用性。本方法在标准域泛化基准测试中展示了当前最高的准确率，同时适用于诸如多源领域适应和带有标签噪声的域泛化等进一步的任务。

    Jul, 2019

  • 卷积归一化：提高深度卷积网络的鲁棒性和训练效果

    介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。

    Mar, 2021

  • 实用域自适应的 Batch Normalization 重新审视

    本文提出了一种称为自适应批量归一化（AdaBN）的方法来提高深度神经网络的泛化能力，无需额外组件或参数，并证明其在领域适应任务和现有方法相结合时具有卓越的性能表现。

    Mar, 2016

  • ACNe: 用于健壮置换等变学习的注意力上下文归一化

    本文提出了注意力上下文归一化（ACN）技术，基于排列不变网络实现离群点鲁棒性的全局归一化方法，并利用本地和全局注意力找到高维空间中的关键数据点来解决特定任务，实验证明我们的方法在处理稀疏、无序数据的点云分类、抗噪点云拟合和相机姿态估计等方面性能较现有方法显著提升。

    Jul, 2019

  • 关注归一化

    本篇论文提出了一种轻量级的模式集成方案，称为 Attentive Normalization (AN)，将特征标准化和注意力机制相结合，实现了对实例的特征重新校准和调整，在 ImageNet 和 MS-COCO 的分类和检测任务中都获得了一致的性能提升。

    Aug, 2019

  • 仅调整规范层的表达能力

    本研究探讨了针对正则化层进行精调的可行性，并发现仅针对归一化层的调整能够重构任何目标网络，并验证了这一结论在过度参数化情况下仍然成立。

    Feb, 2023

  • 预训练语言模型层归一化参数有效调整

    本文提出了一种仅利用 0.03% 参数的 LN-tuning 方法，通过调整 Layer Normalization 模块的增益和偏置项，实现对 PLMs 的参数高效调整，同时研究了将 LN-tuning 与其他先前方法相结合的统一框架，在 MHA 和 LayerNorm 同时调整的情况下可以获得性能提升，但在 FFN 和 LayerNorm 同时调整的情况下将导致性能下降，该方法实现了 SOTA 的性能表现。

    Nov, 2022

  • 聚焦于效率：LayerNorm 作为细调医学视觉语言预训练模型的催化剂

    通过细调 LayerNorm 层，在医疗视觉语言模型（Med-VLMs）中实现了传统细调方法的高效性、准确性和泛化能力，特别适用于大规模 Med-VLMs。

    Apr, 2024

  • BCN: 批量通道归一化用于图像分类

    该研究提出了一种新的规范化技术称为批次通道规范化（BCN），它结合了批次归一化（BN）和层归一化（LN）的优势，并可以应用于计算机视觉领域中的各种应用。

    Dec, 2023