Apr, 2019

实例级元归一化

PDF
TL;DR该研究提出一种称为 “ILM~Norm” 的规范化机制，它通过特征前馈和梯度反向传播路径学习预测规范化参数，适用于多种网络架构和任务，能够提高模型性能。
instance-level meta normalizationlearning-to-normalizeinstance normalizationlayer normalizationgroup normalization
发现论文，激发创造
  • TaskNorm: 为元学习重新思考批归一化

    该研究探讨了在元学习中使用批量标准化的挑战，并提出了一种叫 TaskNorm 的新方法，实验证明该方法能够改善分类准确性和训练时间，并提供了一系列规范化的最佳实践来实现元学习算法的公平比较。

    Mar, 2020

  • 使用实例层规范化的 U-Net 训练

    本文提出了一种基于 Sigmoid 函数和分组归一化的 Instance-Layer Normalization (ILN) 层，用于 DCNN 的浅层特征图融合。使用 U-Net 作为 DCNN 架构以右心室和左心室的图像分割为例，验证了 ILN 在各种常见规格网络上的有效性，优于传统的与流行的归一化方法。

    Aug, 2019

  • 适用于可泛化人员再识别的元批次实例标准化

    本文提出了一种称为 MetaBIN 的框架，利用元学习模拟先前不成功的普遍化场景，将可学习的批次 - 实例标准化层与元学习相结合，以改善 Re-ID 领域中的泛化能力问题。

    Nov, 2020

  • 关于在一致性正规化中应用隐式元学习的训练

    通过对不同的 Hessian 逼近方法进行系统性比较分析，研究了隐式元训练在收敛点曲率估计方面的局限性以及其稳定性问题，并利用所得见解提出并评估了一种新型半监督学习算法，该算法通过培训 “信心网络” 来加权一致性正则化损失，提高了基准 FixMatch 效果。

    Oct, 2023

  • 元学习不变风险最小化

    本研究提出了一种基于元学习的方法来解决数据集分布变化和环境数据中假相关性的问题，并通过实验展示该方法在 Out-of-Distribution（OOD）泛化性能、稳定性和解决 IRMv1 的局限性方面具有显著改进。

    Mar, 2021

  • 快速风格化的缺失成分：实例标准化

    通过将批标准化替换为实例标准化来提高图像生成的质量，并同时适用于训练和测试时间，生成实时高性能架构的快速样式化方法。

    Jul, 2016

  • 无记忆类增量学习的初始分类器权重回放

    在没有所有数据的情况下，基于初始分类器权重的归一化方法优于现有技术，在内存最小化的增量学习设置中，对于大规模数据集，它能够通过标准化初始分类器权重和预测得分来提高分类公平性 。

    Aug, 2020

  • 通过记忆模仿提升低资源文本分类和生成的元学习

    文章提出了一种记忆模仿元学习方法，利用任务特定的记忆模块存储支持集信息，并构建模仿模块来强制查询集模仿存储在内存中的某些代表性支持集样本的行为，以提高模型对支持集的利用，进而在文本分类和生成任务中取得了优异的性能。

    Mar, 2022

  • OIMNet++: 基于原型归一化和定位感知的人员搜索学习

    该研究提出了 OIMNet++ 用于人员搜索，此方法采用 ProtoNorm 进行标定和 L2 正则化的人员特征表示以具有更好的可识别性，同时引入了一个定位感知的特征学习方案，以更好地对齐提案并增强判别性别表示。

    Jul, 2022

  • 具有消除混杂层次预测数据干扰的干预式多实例学习

    该研究提出了一种新颖的干预型多实例学习（IMIL）框架，并通过因果干预设计期望最大化（EM）算法来实现训练过程中的强大实例选择以及抑制袋子上下文先验引起的偏差。 实验表明，IMIL 方法可以显著减少误报，并优于现有 MIL 方法。

    Apr, 2022