SAND-mask: 基于梯度掩蔽的领域泛化不变性增强策略

Jun, 2021

SAND-mask: 基于梯度掩蔽的领域泛化不变性增强策略

SAND-mask: An Enhanced Gradient Masking Strategy for the Discovery of Invariances in Domain Generalization

Soroosh Shahtalebi, Jean-Christophe Gagnon-Audet, Touraj Laleh, Mojtaba Faramarzi, Kartik Ahuja...

TL;DR本篇论文提出了一种 SAND 遮盖策略，根据网络中各边梯度流的一致性来控制每步优化中边缘接受的更新量，以推动跨域不变性的发现，并通过实验证明其优于当前领先的颜色 MNIST 数据集上的其他域泛化数据集。

Abstract

A major bottleneck in the real-world applications of machine learning models is their failure in generalizing to unseen domains whose data distribution is not i.i.d to the training domains. This failure often stems from learning non-generalizable features in the training domains that a

machine learning generalization out-of-distribution sand-masking domain generalization

发现论文，激发创造

在域内外泛化中平衡特异性和不变性的学习

本研究提出了一种域特定掩码模型，旨在提高领域内和领域外的泛化性能，在 PACS 和 DomainNet 中实现与先前的方法竞争性能。

Aug, 2020

基于模型的领域通用化

本篇论文提出了一种基于模型的域泛化方法，通过对数据生成过程和同变性条件的建模，将域泛化问题转化为一个无限维的有约束统计学习问题，并利用非凸对偶理论发展了有约束松弛的统计问题，提出了具有收敛保证的域泛化算法，并在 ColoredMNIST，Camelyon17-WILDS，FMoW-WILDS 和 PACS 等基准测试中取得了高达 30 个百分点的改进。

Feb, 2021

通过梯度手术实现领域泛化

通过使用梯度手术来缓解多域数据训练时出现的梯度冲突，进而提高深度学习模型在域偏移场景下的泛化能力。在三个多域数据集上的图像分类任务中验证了所提出的梯度一致性策略的价值。

Aug, 2021

在潜在空间中通过领域不变表示学习改善入侵检测

通过多任务学习，我们引入了一种两阶段表示学习技术，旨在从跨越多个领域的特征中培养一个潜在空间，包括原始和跨领域的特征，以增强在未见过的内部分布和外部分布领域的推理能力。此外，我们试图通过最小化先验和潜在空间之间的互信息来解耦潜在空间，从而有效地消除虚假特征之间的关联性。总体而言，这种联合优化将促进领域无关的特征学习。我们使用标准分类指标在多个网络安全数据集上评估模型的有效性，并将结果与当代领域泛化方法进行对比。

Dec, 2023

医学图像分类的隐私保护受限领域泛化

本论文提出一种隐私保护的约束域泛化方法，通过在集中式服务端的信息聚合过程中应用新颖的梯度对齐损失，以期提高模型的泛化能力，将训练模型更好地泛化到 “未见过” 的但相关的医学图像

May, 2021

对抗性屏蔽视频一致性用于无监督领域适应

我们提出了一种基于 Transformer 的模型来学习类别识别和领域不变特征表示，通过两个创新设计：首先，基于生成对抗网络对齐领域，同时学习生成具有挑战性的蒙版和对抗性编码器以最小化源域和目标域之间的距离；其次，采用蒙版一致性学习模块来学习类别识别表示，在 Epic-Kitchen 和提出的 U-Ego4D 基准上取得了最先进的性能。

Mar, 2024

差异掩蔽：选择连续预训练中需掩蔽的内容

提出了一种名为 “Difference-Masking” 的自监督学习预训练方法，在多语种和多模态视频任务中超越了基准方法，验证了其在自然语言处理和视觉等领域的有效性。

May, 2023

可微分权重掩码用于领域转化

深度学习模型在计算机视觉中的一个主要缺点是它们无法以模块化的方式保留多个信息源。本研究结合了深度学习和权重掩码方法，研究了三种权重掩码方法，并分析了其在源任务上减少 “遗忘” 并在目标任务上进行高效微调的能力。发现不同的掩码技术在保留源任务知识的同时不会对目标任务性能产生不利影响。

Aug, 2023

领域泛化的因果平衡

采用平衡的小批量采样策略来消除数据中的错误相关性，提高机器学习模型在不同领域的泛化能力并以此训练贝叶斯最优分类器，通过实验证明该方法优于 20 种基准方法。

Jun, 2022

SMOOT：基于显著性引导的掩模优化在线训练

通过提出一种基于输入、准确性和模型损失的遮蔽图像数目的最佳确定方法，本文旨在解决遮蔽策略的问题，以提高模型的准确性和突出性，从而证明所提出的解决方案的有效性。

Oct, 2023