- 基于深度支持向量的实用数据集蒸馏
在实际场景中仅能访问整个数据集的一部分的情况下,我们提出了一种新的数据集提炼方法,通过添加深度 KKT(DKKT)损失来增强传统过程中的一般模型知识。在 CIFAR-10 数据集上的实验表明,我们的方法在实际设置下相较于基线分布匹配提炼方法 - 基于强盗驱动的批次选择以应对标签噪声下的鲁棒学习
我们引入了一种新颖的方法来选择随机梯度下降(SGD)训练中的批量,利用组合赌博算法。我们的方法主要关注在现实世界数据集中普遍存在的标签噪声的学习过程优化。对 CIFAR-10 数据集的实验评估表明,我们的方法在各种标签污染程度下始终优于现有 - 基于长度约束的卷积神经网络架构设计演化
通过限制模型长度等策略,利用搜索长度策略和基因算法进行搜索架构,从而在计算资源消耗极低的情况下取得 Cifar-10 数据集上 5.12% 的错误率。
- 使用扩散模型的威胁模型不可知对抗性防御
本文介绍了一种在各种威胁模型下生成鲁棒分类器的方法,该方法利用了随机生成建模的最新进展,并利用条件分布采样。通过在被攻击的图像上添加高斯独立同分布噪声,然后进行预训练扩散过程,该方法表现出了可观的鲁棒性。该鲁棒性在 CIFAR-10 数据集 - ICML对比对抗训练中通过认知失调缓解实现健壮性
本文介绍了一种新的神经网络训练框架,通过将对比学习与对抗训练相结合,增强了模型对对抗攻击的鲁棒性,同时保持高干净度的准确性。作者发现对比学习有助于提高对抗性鲁棒性,并使用 CIFAR-10 数据集验证了他们的方法,发现其优于其他监督和自监督 - AAAI神经架构搜索中的单次搜索空间污染
本文研究了神经架构搜索算法 Efficient NAS 对数据毒化攻击的鲁棒性,通过注入无效操作到搜索空间中,我们展示了一次性搜索空间毒化方法如何利用 ENAS 控制器中的设计缺陷,降低分类任务中预测性能,只需向搜索空间注入两个毒化操作即可 - ICLR稀疏编码前端用于鲁棒神经网络
该研究提出了一种基于稀疏编码的前端防御方法,该方法在 CIFAR-10 数据集上的实验结果表明,相较于其它对抗训练方法,该方法对 Linf、L2 和 L1 攻击的抵御效果更好。
- 评估基于几何感知实例重新加权的对抗训练鲁棒性
本技术报告评估了一种最近开发的名为 “几何感知实例加权对抗训练” 的方法在 CIFAR-10 数据集上对抗性攻击的鲁棒性。 通过使用 PGD 攻击来计算了该方法的脆弱性,并解释了导致该方法易受攻击的原因。
- MM恶意标注和污染攻击下的主动学习
本文介绍了一种高效的主动学习方法,它结合了敌对再训练技术,可以生成更多的人工标注数据集而不增加标注预算,产生的敌对样本也提供了一种测量模型易受攻击的方式。作者在减小的 CIFAR-10 数据集上对其性能进行了充分评估,得出该方法有效对抗恶意 - 在人工数据集上训练 GAN 的经验教训
通过训练 GAN 在人工数据集上,我们发现混合多个 GANs 相比于使用更深、更宽、更复杂的单个生成器会获得更好的结果。在 CIFAR-10 数据集上,我们的方法在流行的指标(IS 和 FID)上明显优于现有技术的表现。
- KDDFedCD: 非独立同分布联邦学习性能改进
提出 FedCD 方法,将模型动态地克隆和删除以将设备分组,实现在非独立同分布的数据上高精度和更快的收敛。
- ECCV深度 k-NN 防御干净标签数据毒化攻击
本论文提出了一种有效的深度 k-NN 策略作为可靠的防御干净标签攻击的方法,并在 CIFAR-10 数据集上展示了它的高检测准确性、识别出超过 99% 的攻击性样本并能有效地去除它们,同时无损模型性能。
- 赔率是否真的奇怪?绕过对抗性样本的统计检测
本文提出了基于统计学检测方法的分类器适应方法,提高了检测性能;并且提出了 Logit Mimicry Attack 方法生成对抗样本,通过该方法可以避开统计学检测和分类器方法;最后,通过该文献,可以证明对抗样本的检测,统计学检测和分类器检测 - 紧凑且稳健的深度神经网络
本文研究了网络剪枝策略的扩展,力图在保留网络的鲁棒性的同时设计更紧凑的神经网络,并基于对现有策略的缺陷进行改进,最终在 CIFAR-10 数据集上取得了不俗的成绩。
- NIPS终极张量化:压缩卷积层和全连接层
本文提出了一种基于张量分解的卷积层参数压缩方法,并将其与之前提出的压缩全连接层的方法结合,成功实现了在 CIFAR-10 数据集上 80 倍的网络压缩和 1.1% 的精度损失。
- AdaNet:人工神经网络的自适应结构学习
本文提出了新的自适应学习人工神经网络的算法 (AdaNet),可以同时自适应地学习网络结构和权重。通过大规模实验,证明该算法在二元分类任务中表现出色,并且与传统方法中得到的神经网络相比具有竞争力的性能准确性。