Nov, 2020

MixMix：数据无需压缩的关键在于特征和数据混合

PDF
TL;DR本文提出了基于 MixMix 的两个简单而有效的技术来解决深度学习研究中面临的用户数据机密保护和模型压缩的问题，同时证明了理论和实验的有效性，比现有的无数据压缩方法在量化、知识蒸馏和剪枝等主流压缩任务上取得了更好的表现。
发现论文，激发创造
  • 知识内含：无数据模型压缩方法

    本论文提出三种从训练模型中生成合成样本的方法，用于压缩和微调量化模型，不需要真实数据支持，可以用于数据敏感情况，最佳方法与原始训练样本相比具有可忽略的准确度下降，此方法利用训练模型的内在批归一化层统计信息，可用于评估数据之间的相似性，为真正的数据无损模型压缩打开了道路，并在模型部署过程中减轻了对训练数据的需求。

    Dec, 2019

  • NaturalInversion: 无数据图像合成，改善真实世界一致性

    NaturalInversion 是一种基于模型反演的新颖方法，能够在不使用真实数据的情况下生成与原始数据分布非常吻合的图像，并在 CIFAR-10/100 分类器上生成的图像在可视化和其他分析中表现出更好的一致性和效果。

    Jun, 2023

  • TransformMix: 从数据中学习变换和混合策略

    数据增强通过合成更多的训练样本提高深度学习模型的泛化能力。TransformMix 是一种自动化方法，通过应用学习到的变换和混合扩增策略来创建具有正确和重要信息的混合图像，从而提高性能。

    Mar, 2024

  • 混合样本对特征学习的益处

    本文研究数据增强方法 Mixup 的原理，从特征学习的角度解释了 Mixup 方法的优越性，并提出在早期训练阶段应用早停止技术以提高训练效果。

    Mar, 2023

  • ReMix: 有限数据下的图像到图像翻译

    本文针对生成对抗网络的图像到图像转换领域中，数据有限导致过拟合的问题，提出了一种数据增强方法（ReMix）。该方法通过对特征进行插值，并结合基于感性关系的内容损失函数，实现了通过合成训练数据来强制鉴别器泛化以降低过拟合的目的。在多项实验中，GAN 模型结合 ReMix 方法的性能得到了显著的提升。

    Mar, 2021

  • MSMix：一种基于插值的文本数据增强方法：流形交换 Mixup

    提出了一种简单而有效的插值数据增强方法 MSMix，并在三个中文意图识别数据集上进行了实验，结果表明该方法在全样本和小样本配置下均取得了比其他方法更好的结果。

    May, 2023

  • SnapMix：用于增广细粒度数据的语义比例混合

    本文提出了一种基于类激活图（CAM）的新方案，名为 Semantically Proportional Mixing（SnapMix），以减少在增广精细数据时的标签噪声。与现有的基于混合的方法相比，实验证明我们的方法在多个数据集和不同网络深度下表现更好。

    Dec, 2020

  • 从梦到精华：通过 DeepInversion 进行零数据知识转移

    本文介绍了 DeepInversion 方法用于从神经网络中的图像分布合成图像，使用 Adaptive DeepInversion 提高了生成图像的多样性，并应用于三个数据无关任务中，实现了数据无关的网络剪枝、知识迁移和不断学习。

    Dec, 2019

  • 对比模型反演用于无数据知识蒸馏

    本文提出对比模型反演（Contrastive Model Inversion）来对抗由现有反演方法所引起的数据多样性缺失问题，实现更高的数据多样性从而提高实例区分度及在知识蒸馏中的性能表现。

    May, 2021

  • AugMix：一个简单的数据处理方法，用于提高鲁棒性和不确定性

    本文提出了一种名为 AugMix 的数据处理技术，该技术对图像分类器的鲁棒性和不确定性估计有显著的提高，这有助于模型抵御在部署过程中遇到的意外破坏。

    Dec, 2019