面向域泛化的随机对抗样式扰动
该研究提出了条件对抗域适应的方法,通过两种新的调节策略,Multilinear调节和Entropy调节,实现对不同领域的分类问题的对抗对齐,超过了五个数据集上的最新成果。
May, 2017
本文提出了一种基于随机样式转换的数据增广方法,即样式增广,以提高卷积神经网络在分类、回归和领域迁移任务中的鲁棒性。在训练期间,通过从多元正态分布中采样输入样式嵌入,将任意样式转换网络调整为执行样式随机化,以随机化纹理、对比度和颜色,同时保留形状和语义内容,并且与传统的数据增广技术相结合以改进网络性能。通过分类和单目深度估计领域迁移实验的验证,证明本文提出的技术方法能够提高模型的泛化能力。
Sep, 2018
本篇文章介绍了一种名为对抗域增强的方法,用于在单一训练域情况下提高模型的泛化性能,通过使用元学习方案和WAE来松弛最坏情况限制,并在多个基准数据集上广泛实验,验证了该方法对于缓解单一域泛化问题的优越表现。
Mar, 2020
本文提出了一种通用的标准化方法—自适应标准化和重新缩放标准化(ASR-Norm),通过神经网络学习标准化和重新缩放的统计数据,可以进一步提高单域泛化模型的范化能力,特别是在源域与目标域差异较大的情况下,该方法在Digits、CIFAR-10-C和PACS基准测试中与ADA方法相比可平均提高1.6%、2.7%和6.3%。
Jun, 2021
本文提出了一种新的通用领域敌对框架,利用变分f-分歧的特征进行领域自适应。基于此框架,推导出了具有重要修正的新算法框架,并证明了其在自然语言和计算机视觉数据集上优于现有的基线结果。
Jun, 2021
提出了一种基于特征统计进行特征风格化的领域泛化框架,其中利用领域样式样本对原始特征进行低频成分的风格化处理,并利用领域感知的对比损失增加类别可区分性,得到在 PACS 和 Office-Home 两个基准测试上超越现有最先进方法的实验结果。
Aug, 2021
在此研究中,通过将随机噪声添加到确定性权重中,基于Taylor展开设计了一种新的对抗训练方法,可以调和抗干扰性和准确性之间的权衡,同时提高两者的表现。
Mar, 2023
通过在潜在空间中生成被干扰的特征并对模型预测进行领域转移的正则化来模拟领域转移的在线一阶交叉对比特征扰动(Cross Contrasting Feature Perturbation)框架引入的模块与语义一致性约束设计和学习特征扰动的,无需生成模型或领域标签的方法能够在分布不同的场景中缓解领域转移问题。
Jul, 2023
单域广义化通过在单个源域上训练以提高模型对未知域的泛化能力,然而,有限的训练数据多样性影响了域不变特征的学习,导致泛化性能下降。为了解决这个问题,我们提出了一种名为CPerb的简单而有效的跨扰动方法,该方法利用水平和垂直操作来增强训练数据的多样性,从不同角度学习具有相同语义类别样本的多路扰动,并引入一种名为MixPatch的新型特征级扰动方法来进一步增加训练数据的多样性。在各种基准数据集上的广泛实验证明了我们方法的有效性。
Aug, 2023
通过对随机权重扰动的目标进行最小化以提高泛化能力的研究表明,改进深度神经网络(DNNs)的泛化能力是机器学习中的一个基本挑战。通过两个分支方法提出了分别由锋利度感知最小化(SAM)和随机权重扰动(RWP)引导的方法,通过对最差情况邻域损失进行最小化来改进泛化能力。然而,RWP在计算上具有优势,并在数学基础上与AWP密切相关,但其实证效果始终落后于AWP。本文重访RWP的使用方式,并从两个角度提出改进策略:i)泛化和收敛性之间的权衡,ii)随机扰动生成。通过大量实验评估,我们证明了我们增强的RWP方法在提升泛化能力方面具有更高的效率,特别是在大规模问题上,并且在性能方面与SAM相当,甚至更优越。
Mar, 2024