领域一致性降低的未知领域泛化方法
本文提出 Sharpness-Aware Gradient Matching (SAGM) 算法,旨在通过渐进地对齐经验风险和扰动损失的梯度方向,提高模型泛化能力,并通过实验表明 SAGM 的表现优于当前 DG benchmark 中的现有方法。
Mar, 2023
该论文提出了一种受领域启发的锐度感知极小化(Domain-Inspired Sharpness-Aware Minimization,DISAM)算法用于在领域变化下的优化问题。通过考虑锐度估计中的领域级收敛一致性,DISAM 引入了最小化领域损失方差的约束,实现了弹性梯度校准,在不同领域之间自动调整梯度扰动,从而实现更快的整体收敛和改进的泛化能力。在各种领域泛化基准测试中,大量实验证明了 DISAM 相比一系列最先进的方法的优越性。此外,我们还展示了 DISAM 在参数高效微调和预训练模型中的优越效率。
May, 2024
本文提出了一种基于分布鲁棒优化的普适认证框架,旨在弥补现有基准数据集在测试时无法全面评估领域通用算法的局限性,并提出了一种训练算法,可以用于改进其认证性能。实证评估表明,该方法显著提高了风险压力下模型的最坏损失,而在基准数据集上并未出现显著的性能下降。
Jun, 2022
本文提出了一种跨域梯度分歧最小化方法,使用聚类自监督学习获得目标伪标签,显式地最小化源样本和目标样本生成的梯度差异,以提高目标样本的准确性,实验证明该方法优于许多先前的最新技术
Jun, 2021
本文提出了基于领域特定风险最小化(DRM)的方法,旨在通过利用源域信息和适应性差的估计和最小化来弥合领域间差异以实现领域通用性,并在不同分布漂移设置下显着优于竞争基准。
Aug, 2022
基于损失平面平坦度的角度,我们提出了一种新颖的方法 Flatness-Aware Minimization for Domain Generalization(FAD),可以同时有效地优化零阶和一阶平坦度,从而改善领域泛化问题。我们通过理论分析和实验证明了 FAD 在各种领域泛化数据集上的优越性,并确认 FAD 能够发现比其他零阶和一阶平坦度感知优化方法更平坦的极小值点。
Jul, 2023
本文探讨了领域泛化方法的有效性,展示了理论证明找到平坦最小值可以获得更小的领域泛化差距并提出了用于实现此目标的简单而有效的方法 SWAD,并展示了其在五个领域泛化基准测试中的表现。
Feb, 2021
我们提出了一种解决无监督开放域识别问题的方法,该问题中标记源域种类是未标记的目标域的一个子集。我们设计了语义引导匹配差异来衡量源域和目标域之间的不对称标签空间的域差异,并设计了有限平衡约束来实现更平衡的分类输出。我们开发了一个联合学习的网络,通过减少 SGMD,强制执行有限平衡约束和最小化 S 上的分类损失,同时学习骨干分类网络和 GCN。我们的实验结果表明,我们的方法在识别已知和未知类别的图像时具有优越性。
Apr, 2019
该研究提出了一种基于语义的混合策略(SAM)来解决深度神经网络在遇到未知目标域时的泛化问题,在傅里叶谱的启示下,SAM 将混合策略应用于傅里叶相位和振幅信息,有效地提高了图像分类任务的准确性。
Apr, 2023