PowMix:多模态情感分析的多功能正则化方法
WaveMix 是一种用于计算机视觉的新型神经体系结构,它具有资源效率,可推广性和可扩展性,使用多级二维离散小波变换(2D-DWT)在 WaveMix 块中,可以比现有技术更快、更好地实现分割和分类。
May, 2022
WaveMix 是一种采用多尺度 2D 离散小波变换 (DWT) 进行空间令牌混合的替代神经架构,与卷积神经网络 (CNNs) 和 ViTs 相比,在多个数据集上表现出了与它们相当甚至更好的泛化性同时需要更少的计算和存储
Mar, 2022
本论文研究数据增广技术 Mixup 的理论基础,指出 Mixup 可被解释为标准经验风险最小化估计器,通过数据转换和随机扰动来实现。该方法在测试时能够提高分类器性能,同时还获得了自校准和有效的正则化效果,以防止过度拟合和过度自信的预测。
Jun, 2020
通过减少模型对虚假相关性的依赖,我们提出了一个基于逆概率加权的通用去偏方法,以提升多模态情感分析模型的超出分布泛化能力。通过解耦每种模态的鲁棒特征和偏倚特征,并利用偏倚特征估计偏倚,我们使用逆概率加权来减少对大偏倚样本的影响,从而促进情感预测的鲁棒特征学习。实证结果证明了我们提出的框架具有优越的泛化能力。
Jul, 2023
本文提出了一种名为 Remix 的新的正则化技术,它在深度图像分类器的分类不平衡的情况下可以使得深度图像分类器表现更好,并在多组实验中证实了 Remix 相较于现有的 Mixup、Manifold Mixup 和 CutMix 等算法在这个问题上的优越性。
Jul, 2020
本研究提出一种名为 Robustmix 的新型混合扩充方法,通过正则化网络以分类基于较低频空间特征。结果表明,这种正则化方法在诸如 Imagenet-C 和 Styleized ImageNet 等多个测验中提高了网络的鲁棒性,且有利于有效减少计算负荷。使用 EfficientNet-B8 模型和 RandAugment 方法获得了最先进的 mCE 达到 44.8,比基准线降低 16 mCE。
Apr, 2023
利用 Mixup 作为标准交叉熵损失的额外正则化器,可以提高其精确度并在各种协变量转移和超出分布检测实验中显著提高其预测不确定性的质量。通过对视觉数据集 (ImageNet & CIFAR-10/100) 的深入分析和实验来展示我们的方法(RegMixup)的功效,并与一系列最新方法进行比较,以实现可靠的不确定性估计。
Jun, 2022
本研究提供了一种理解多模态嵌入的视角,并提出了一种新的端到端微调方法,以鼓励更好的统一性和对齐得分,通过大量的检索、分类和结构感知任务的实验,证明了我们的地球多模态 Mixup 学习到了一个强健的表示,并在各种下游任务上提供了改进的性能。
Mar, 2022
使用回归模型自动识别高性能的数据混合,通过联合所有领域一起考虑以捕捉复杂性,RegMix 方法超过人工选择,并且仅使用 10%的计算预算实现与 DoReMi 相比匹配或更好的结果。
Jul, 2024