Oct, 2023

RegBN: 对多模态数据进行批量归一化的正则化方法

PDF
TL;DR该论文介绍了一种名为 RegBN 的新型多模态数据归一化方法，使用 Frobenius 正则化参数来解决异质多模态数据的一些副作用和依赖关系问题。RegBN 在多个研究领域的八个数据库中得到验证，支持各种模态的多模态神经网络的有效归一化。
multimodal datanormalizationregbnregularizationneural networks
发现论文，激发创造
  • 批量归一化中正则化的理解

    通过对神经网络的基本结构进行分析，我们发现批量标准化通过人口标准化和 gamma 衰减作为显式正则化来实现隐式正则化，可以提高训练收敛性和泛化性，同时提供了学习动力学和正则化的学习方法，这一理论与实验证明了在卷积神经网络中批量标准化和上述分析具有相同的正则化特性。

    Sep, 2018

  • 多模态范式的归因规范化

    通过提出新的正则化项，促进多模态模型在决策过程中有效利用所有模态的信息，以缓解单模态主导性问题并提高多模态机器学习系统的性能。

    Apr, 2024

  • 模态归一化

    本文提出了一种扩展 Batch Normalization 的灵活方法，通过将归一化扩展到不止一个均值和方差，我们能够实时检测数据模式并联合归一化具有共同特征的样本。实验结果表明，我们的方法在单任务和多任务数据集上优于 BN 和其他广泛使用的归一化技术。

    Oct, 2018

  • 重新审视多模式行人检测中的模态不平衡

    本文介绍一种解决多模态学习中偏向某一模态的训练分布不平衡问题的新方法，使用正则化训练多模态架构使特征提取器在训练期间被同等看待以提取多模态分布，结果表明该方法在 KAIST 和 UTokyo 数据集上显着提高了最先进的性能。

    Feb, 2023

  • 频域下的批量归一化

    本文介绍了一种新的在频域归一化特征图的有效方法 - 频谱批量归一化（SBN），通过实验证明该方法可以避免特征图在初始化时和整个训练过程中的爆炸问题，使得深度神经网络的表现得到了显著提高。

    Jun, 2023

  • ReLU 网络中批归一化的解析：等价的凸优化模型与隐式正则化

    本文通过凸优化的视角分析 Batch Normalization，提出了一个基于凸对偶的解析框架，可以精确地描述用 Batch Normalization 训练的带有权重衰减的 ReLU 网络，并证明在高维和过参数化情况下，理论上可以获得一些简单的解析的最优层权重和可训练的凸约束优化问题，并发现梯度下降给标准的非凸 BN 网络提供了算法偏差效应，通过我们的方法可以将这种隐式正则化显性编码到凸目标中，实验结果表明该方法可以模拟和显著提高标准 BN 网络的性能。

    Mar, 2021

  • 通过批量归一化模型中分离变化模式以加速训练

    该研究使用 Fisher 核的角度探索 Batch Normalization 的优化，提出了一种新的 Mixture Normalization 方法，通过 CIFAR-10 和 CIFAR-100 实验验证能够有效加速深度神经网络模型的训练

    Jun, 2018

  • 组归一化

    本文提出了组归一化（GN）作为批量归一化（BN）的一种简单替代方案，GN 可解决 BN 在小批量大小下估计错误的问题，稳定性高且可应用于多种计算机视觉任务，如目标检测和图像分割。

    Mar, 2018

  • 流式归一化：针对在线和递归学习的更简单和更符合生物学原理的归一化方案

    提出了一个更简单、更符合生物学规律的通用归一化算法，可同时解决批归一化的两个主要限制：在线学习和循环学习，并提出了用不同统计矩阶数来进行归一化的 Lp 归一化方法，特别是 L1 归一化，其性能表现良好且计算速度快，更加符合生物学规律，因此非常适合 GPU 或硬件实现。

    Oct, 2016

  • 广义批量归一化：加速深度神经网络

    提出了一种使用广义偏差测量的 Batch Normalization（BN）变换，与传统的 BN 相比，它通过使用风险理论和量化风险管理的最新概念，加速神经网络训练的收敛速度，在结合 ReLU 非线性时，可以自然选择偏差测量和统计，实验证明在保持错误率方面与传统 BN 相比有所提高，总体而言，为设计选择提供了一个更灵活的 BN 变换。

    Dec, 2018