数据微调
本文以 Fast Gradient Sign Method 为基础,对面部图像数据集进行扰动,测试不同黑盒攻击算法的鲁棒性,并重点研究修改单个最佳像素或所有像素的攻击方法。研究结果表明,所有像素攻击方法能使分类器置信度平均下降至 84%,且 81.6%的误分类率,但这些图像始终可以被人类识别。该研究可为防御性对抗攻击、自适应噪声降低技术等方面的 DNNs 训练和研究提供宝贵的参考。
Jan, 2020
通过概念微调(Concept-Tuning)方法,可以改善预训练模型的特征表示,减少罕见特征和虚假关联特征的负面影响,进而提高细调方法在各种数据集上的表现。
Nov, 2023
本文提出了一种自适应微调方法 SpotTune,使用策略网络根据目标任务的数据实例来选择微调层或预训练层,实验证明该方法在计算机视觉中的迁移学习应用中优于传统的微调方法,并在 Visual Decathlon 数据集中表现优异。
Nov, 2018
本文提出了一种新的 fine-tuning 方法,使用掩码图像作为反事实样本来帮助提高 fine-tuning 模型的鲁棒性,该方法通过分类激活图掩盖语义相关或语义不相关的图像补丁,然后用其他图像中的补丁填充掩盖的补丁,取得了在鲁棒性方面更好的平衡。
Mar, 2023
利用简单通用的识别方法和网络上的免费嘈杂数据,成功规模扩展到 10,000 多个类别,不需要手动收集标签,取得超过现有各领域最佳记录的 92.3%、85.4%、93.4% 和 80.8% 的 top-1 准确率
Nov, 2015
通过引入一种有效且鲁棒的微调框架来解决在新任务上进行预训练模型微调可能导致不公平结果的问题,该框架中融合了权重重要性中和策略和矩阵因子分解技术,通过实验验证了其有效性。
Mar, 2024
本文介绍了一种新的分析方法,即通过微调接种的方法研究挑战数据集,应用于 NLI “压力测试” 和 Adversarial SQuAD 数据集,结果表明,挑战数据集的失败可能会导致关于模型,训练数据集和挑战数据集本身的完全不同的结论。
Apr, 2019
本文提出了一种元算法来解决因从不同来源挖掘数据而导致的噪声标签问题,具有更新时间和更新方式分离的关键思想,利用简单实现的方法,将著名数据集 LFW 和文本性别化服务相结合用于性别分类,得到了最先进的结果,并分析了算法的收敛性能。
Jun, 2017
本文研究了利用深度神经网络提取面部特征的鲁棒性,通过生成对抗性样本测试了多种算法的可靠性,并提出了自然对抗样本的概念,发现即使在经过多次训练的情况下,网络仍然存在一些本该被正确分类的对抗样本。
Jan, 2018
本文提出了一种新的、称为弹性调整的 fine-tuning 方式,可以用于处理不同于预训练源的、但与其语义相近的实际数据。通过实验证明,相较于传统做法,在许多领域转移情况中调整中间或早期单元的效果更好。
Aug, 2020