Mar, 2021

通过深度子网络混合多个输入生成多个输出的 MixMo

PDF
TL;DR本文提出了 MixMo 框架，通过二元混合的方式，使用 rectangular patches from CutMix 增强特征，在 CIFAR-100 和 Tiny ImageNet 数据集上，在不需要推理和内存开销的情况下，显著优于数据增强深度集成，并提高了图像分类的最新水平。
ensemblessubnetworksmixmomulti-inputimage classification
发现论文，激发创造
  • 训练独立子网络以实现鲁棒预测

    本文介绍了一种新的方法，在单个模型的前向传递中免费实现了实现多个预测的好处，利用多输入多输出（MIMO）配置，可以使用单个模型的能力来训练多个子网络，从而提高模型鲁棒性，而不增加计算成本。

    Oct, 2020

  • Co-Mixup: 基于显著性引导的超模复合联合 Mixup

    本文提出了通过优化构建 mixup 数据的最佳方法以获得更好的神经网络推广性能和对数据干扰的鲁棒性，特别是使用基于模块化近似的迭代次模最小化算法来实现有效的 mixup 计算。

    Feb, 2021

  • AutoMix: 揭示 Mixup 的强大分类器之力

    该论文提出了一种自动混合框架 ——AutoMix，它将混合分类分为两个子任务，并使用相应的子网络在双层优化框架中解决。AutoMix 在 9 个图像基准上的广泛实验表明，在各种分类场景和下游任务中，其优越性超过了现有技术。

    Mar, 2021

  • SuperMix：混合数据增强的监督

    本文提出了一种监督式混合增强方法 SuperMix，使用牛顿迭代方法来提高效率，在对象分类和知识蒸馏任务中通过广泛的评估和消融研究验证了其有效性，将混合图像纳入蒸馏目标可显著提高结果。

    Mar, 2020

  • 使用可微的混音控制台进行多音轨自动混音的神经音效

    本文针对深度学习在多轨混音中的应用进行了研究和探索，提出了一种基于领域的模型，使用预训练的子网络和权重共享，并采用求和 / 差分立体声损失函数进行训练，得到的可用于人工调整或完善的混音参数表现出优异的表现。这是第一篇在波形级别上从实际数据中学习多轨混音约定的方法的研究。

    Oct, 2020

  • ChimeraMix：通过特征掩码混合进行小数据集图像分类

    我们提出的名为 ChimeraMix 的深度学习网络架构通过生成实例组合的数据增强方式，解决了在小数据集上进行深度学习的限制，并在基准数据集上展示了优于现有同类方法的分类性能。

    Feb, 2022

  • MIMONets: 多输入多输出神经网络利用超位运算

    利用深度学习的进展，本研究提出了 Multiple-Input-Multiple-Output Neural Networks (MIMONets) 的概念，通过超定的计算来降低推理成本，并在动态参数范围内实现准确率与吞吐量的权衡。MIMONets 应用于 CNN 和 Transformer 架构，分别命名为 MIMOConv 和 MIMOFormer，并通过实证评估验证了它们的高速和准确性。

    Dec, 2023

  • 演化图像组合特征表示学习

    本文提出一种名为 PatchMix 的数据增强方法，并结合卷积神经网络进行训练，使得在广泛数据集上展现出了更好的迁移学习能力，同时还探索了进化搜索作为指导策略的方法。

    Jun, 2021

  • mixup：超越经验风险最小化

    这篇论文提出了一种名为 mixup 的学习原则，通过训练神经网络的凸组合来缓解其记忆和对抗性示例敏感等问题，实验表明 mixup 提高了最先进的神经网络结构的泛化性能，并减少了恶意标签的记忆，增强了对抗性示例的鲁棒性，并稳定了生成对抗网络的训练。

    Oct, 2017

  • CutMix: 用可定位特征的正则化策略训练强分类器

    该论文提出了一种名为 CutMix 的数据增强策略，该策略结合了区域 dropout 策略和图像贴图技巧，其旨在提高卷积神经网络的分类性能，改善对象定位和提高网络的鲁棒性。实验结果显示，CutMix 方法在 ImageNet 数据集上的分类任务中能够持续地超越当前领先的数据增强方法，同时还能提高由其预训练的分类器在 Pascal 检测和 MSCOCO 图像字幕生成等任务中的表现。

    May, 2019