类别级别的 logit 扰动
本文介绍了两种简单的技术对抗现实场景中数据标签分布的不平衡性,包括采用标签频率进行 logistic 校准 以及在训练过程中强制实施其中之一或两种技术能够鼓励罕见标签与支配标签之间拥有一个相对较大的罕见标签较大的标签在一些学习情况中具有更好的表现。
Jul, 2020
在这项研究中,从理论的角度分析了成功的对抗攻击周围的逻辑差异,并提出了一种新的原则,即 Adversarial Logit Update (ALU),用于推断对抗样本的标签。基于 ALU,引入了一种新的分类范式,利用预净化和后净化的逻辑差异来提高模型的对抗鲁棒性。经过广泛实验证明,所提出的解决方案在 CIFAR-10、CIFAR-100 和 tiny-ImageNet 数据集上相对于最先进的方法具有卓越的鲁棒性能。
Aug, 2023
该论文针对长尾数据分类的问题,从特征层面提出了特征增强及对数调整方法,用以平衡嵌入(embedding)分布,消除分类器偏差,实验表明该方法超越了现有的最佳方法。
May, 2023
本研究提出了一种新的特征分数定义方法,使用最大不变数据扰动,将问题转化为线性规划,可有效识别重要输入特征,实验表明该方法在图像分类中能够有效识别图像的相关部件。
Jun, 2018
本文提出了一种适用于长尾数据的新的神经网络训练方法,使用高斯混合调整不同分类逻辑回归的差异,实现对样本在嵌入空间的调整,从而解决长尾问题,同时也提出了一种分类器的重新训练策略来减轻歧视,实验表明该方法具有卓越的性能。
May, 2023
本文旨在提高有针对性攻击中对抗样本的可转移性,通过在损失和特征方面提出两种不同的改进方法。首先,我们引入了一种新的规范化对数准确度校准方法,它同时考虑了对数边界和对数的标准差。其次,我们进一步研究了截断特征混合方法来减小源训练模型的影响,从而实现了额外的改进。在 ImageNet-Compatible 和 CIFAR-10 数据集上进行的实验证明了我们提出的两个组件的个别和相互优势,在黑盒有针对性攻击中取得了领先于现有方法的大幅度改进。
May, 2024
本文通过分析深度神经网络中的 logits 向量,提出一种网络分类器,并找到在使用未标准化的 logits 向量的情况下,随机初始化的网络的预测准确度更高。
Nov, 2022
通过引入类别相关的变化,提出了一种在训练阶段使实例不再被投影到特征点而是小范围内的方法,从而在不同类别的特征区域之间实现平衡,提高语义分割的性能和可适用性。
Jun, 2023
本文提出 LogitClip 方法,在 logit 级别上进行损失约束,从而提高 CE 损失的鲁棒性,并减轻对带噪标签的样本过拟合问题,通过理论分析证明了 LogitClip 方法的噪声容忍能力和对通用鲁棒性的提升,实验结果表明,LogitClip 不仅在 CE 损失的噪声鲁棒性方面有显著改进,还广泛提高了流行的鲁棒性损失的泛化性能。
Dec, 2022
本文研究基于深度学习的文本分类模型(CNN、LSTM 和 BERT)在面对有意义但与最终性能无关的输入扰动(如标点符号和停用词)时的表现,发现包括 BERT 在内的这类模型都很敏感,特别是对于输入扰动的删除尤其受影响。
Jan, 2022