- 通过级联引导的对抗训练实现更强大和准确的顺序推荐
本文提出了 Cascade-guided Adversarial training,一种针对顺序推荐模型的新对抗性训练过程,以解决顺序推荐模型的健壮性和过度依赖时间信息的问题。实验结果表明,我们的训练方法在模型排名准确性和模型健壮性方面都优 - 朝向对抗鲁棒的持续学习
该研究针对深度学习在不断学习模型中容易受到对抗攻击的问题提出了 Task-Aware Boundary Augmentation (TABA) 的防御方法,并在 CIFAR-10 和 CIFAR-100 上进行了广泛的实验,证明了对抗训练和 - CVPR自上而下的分析合成视觉注意力
本文提出了一种从经典分析合成视觉的角度来考虑自下而上的视觉任务导向注意的方法,并构建了一种名为 AbSViT 的基于 Vision Transformer 的模型,该模型在视觉语言任务中有较好的表现,并可用作分类、语义分割和模型稳健性等各种 - GPT-3 和 GPT-3.5 系列模型综合能力分析
本研究选取了 6 个代表性的 GPT 系列模型,对它们在 21 个数据集上进行了 9 项自然语言任务的性能评估,发现尽管引入强化学习任务和人性化反馈机制提高了 GPT 系列模型生成人类语言的能力,但也有牺牲部分任务解决能力的代价,同时还有提 - MIXPGD: 语音识别系统的混合对抗训练
本文提出 mixPGD 对抗训练方法以提高基于深度神经网络的自动语音识别系统的鲁棒性,实验表明该方法比以前的最佳模型在白盒对抗攻击设置下性能提高了 4.1%WER,并且在黑盒攻击设置下也表现出一定的防御能力。
- Less is More: 通过 n-gram 频率降序理解基于单词级别的文本对抗攻击
本文通过分析 n-gram 频率解释文本攻击的有效性,提出仅依赖于此信息的模型无偏和梯度自由的对抗样本生成方法,进一步将其整合入凸包框架中以提高模型的鲁棒性。
- DISCO: 利用大型语言模型提取短语反事实
该论文提出了一种名为 DISCO 的新框架,可以使用大规模语言模型生成高质量的反事实数据,并借助特定于任务的老师模型过滤生成,以提高模型的稳健性和泛化性能。实验结果表明,使用这种方式进行学习,学生模型的鲁棒性和跨分布能力比基线提高了 6%( - 通过数据增强提高深度神经网络的鲁棒性 ——MixBoost
通过可解释的人工智能方法,探索数据增强方法的内在机制并提出了一种用于模型鲁棒性的代理,在内在机制分析的基础上,我们开发了一种基于掩码的增压方法,它综合提高了几种人工智能模型的鲁棒性测量,同时应用于许多流行的数据增强方法。
- 深度学习训练过程增强
本文介绍了几种新颖的深度学习训练技术,如广义模型无关课程学习方法和级联加和增强方法,它们不仅能够提高训练效率并改善深度网络训练过程中的优化平滑度、鲁棒性,而且还能够为计算机视觉任务提供更好的预测性能和模型稳健性。
- KDD通过协作性同质性增强抵抗图形对抗攻击
本文提出了一种防御框架 CHAGNN 以应对图注射攻击,通过合作同色增强图数据和模型,生成假标签和减少节点间异色边来提高模型鲁棒性,并通过理论分析和实验验证方法的有效性。
- 深度学习中的数据分离法则
该研究提出一种精确规律,通过深度神经网络底层到顶层的分类解决能力分析,设计网络架构,提高模型稳健性和性能,并解释深度学习预测。
- EMNLPRoChBert:针对中文的鲁棒性 BERT 微调
本文介绍 RoChBERT 框架,利用包含中文音节和字形特征的更全面的对抗图,在微调过程中融合到预训练表示中,通过课程学习和对抗数据增广方法提高预训练语言模型的稳健性且不降低在正常文本上的预测准确率。RoChBERT 的性能优于以往方法,并 - EMNLPCOCO-DR: 针对零样本稠密检索中的分布偏移问题,采用对比学习和分布鲁棒学习
提出了一种新的零样本稠密检索方法 COCO-DR,通过对抗源训练任务和目标场景之间的分布转移来提高稠密检索的泛化能力,使用连续对比学习在目标文本上对语言模型进行预训练以适应目标分布,通过基于分布的鲁棒优化重要样本,在未见过的目标查询上优化模 - AAAI自适应困难类别对抗性加权学习
本研究探讨了在对抗性攻击中存在的不均衡的跨类语义相似性,提出了一种自我调节的重加权策略,为模型优化加重难以处理的类对损失,并在对抗培训中引入确定难度极高的类对一致性,最终实现了对各种对抗攻击的优越鲁棒性。
- EMNLP端到端和神经符号视觉语言推理系统之间的泛化差异
本文探讨了深度学习中基于神经网络的联合算是和符号逻辑算法的表现优势,并着重研究了基于多种泛化测试的性能。实验结果表明,这两种方法各具优势,使用多种泛化测试可以更全面的评估模型健壮性和通用性。
- EMNLP瀑布偏差:探讨启发式标注策略对数据和模型的影响
本文探讨了在众包平台上进行注释任务时,注释者使用认知启发式对数据质量和模型稳健性的影响,并提出了追踪注释者启发式痕迹以确定使用各种认知启发式的方法。作者发现,注释者可能会使用多种认知启发式,由其决定数据质量并影响模型的鲁棒性。追踪注释者使用 - A2: 高效自动化攻击者用于提升对抗训练
本文提出了一个名为 A2 的高效自动攻击者,它能够在训练过程中实时生成最优扰动,并证实其强制扰动能够有效提高不同数据集上各种对抗训练方法的鲁棒性。
- MM正则化的线性卷积网络从图像统计中继承频率敏感性
通过理论和实验,我们证明了卷积神经网络对低频信号的敏感性是自然图像的频率分布的结果,该分布已知在低到中频率范围内具有大部分功率。我们的理论分析依赖于卷积神经网络层在频率空间的表示,这个想法以前已经被用来加速计算和研究网络训练算法的隐含偏差, - ECCVLipschitz 连续性保持的二值神经网络
本文提出了利用 Lipschitz 连续性作为二进制神经网络 (BNN) 模型鲁棒性的准确度量标准,并通过正则化方法,采用保留矩阵来近似目标权重矩阵的谱范数,以强化二进制神经网络的鲁棒性。实验证明,该方法在 CIFAR 和 ImageNet - 使用因果关系的运动预测鲁棒性基准测试
为确保机器学习模型在自动驾驶车辆运动预测中的预测结果安全可靠,本研究构建了新型数据标准用于评估和提高模型鲁棒性,通过对现有数据进行扰动来识别场景中的因果因素,并在提供的 WOMD 中发布因果因素标签和鲁棒性基准来帮助社区更好地构建更可靠和安