- 图像和时间序列的端到端反后门学习
本研究针对深度学习模型中的后门攻击问题,提出了一种创新的方法 —— 端到端反后门学习(End-to-End Anti-Backdoor Learning,E2ABL),通过在深度神经网络(DNN)的浅层连接一个额外的分类头,主动识别潜在的后 - WSDM对话问答模型的强化重述生成之稳健训练
通过我们提出的 REIGN 框架,我们通过多种步骤来解决面对表面形式变化的局限性学习环境,其中包括系统生成训练问题的改写,通过深度强化学习改善问答模型的性能,以及在一个基准测试集上训练模型并应用于另一个。我们通过大量多样的改写生成评测数据的 - 针对表格数据的对抗性训练与攻击传播
对抗攻击是安全中心应用中的主要问题,我们提出了一种新的对抗性训练方法,能够预防攻击对机器学习模型的性能造成较大影响,特别是在信用卡欺诈检测领域。
- ACL弱监督学习的批判性观察:远不及你所想的强
本文研究弱监督学习中复杂的训练方法,发现成功的关键在于干净的验证数据,即使只用五个样本的干净数据,已有方法的优势也会被削弱,因此提出了进一步研究方向建议。
- EMNLP面向鲁棒的 k 近邻机器翻译
本文研究并发现 kNN-MT 的性能下降问题,提出了一种信心增强的 kNN-MT 模型,结合鲁棒训练和两种扰动方式以达到在基准数据集上实现显着改进和更好的鲁棒性的效果。
- 最坏情况感知鲁棒强化学习:高效无攻击对抗训练
本文提出了一种强大且高效的深度强化学习鲁棒训练框架 WocaR-RL,通过直接估计和优化有界 l_p 攻击下策略的最坏情况奖励,而不需要额外的学习攻击者样本,能够在多个环境下实现最先进的性能,并获得比先前最先进的强化训练方法更高的训练效率。
- 通过过度参数化实现标签噪音下的稳健训练
为解决对于干扰数据的过度拟合而影响泛化效果,我们提出了一种基于稀疏过参数化和隐式正则化的优化方案,通过对标签噪声进行建模和分离,实现了对于训练数据中的噪声数据清洗,最终获得了在多个真实数据集上较先进的测试结果,同时为优化过度参数化模型开辟了 - 抗击单词级对抗性攻击的文本嵌入
本研究提出了一种新的鲁棒训练方法,即 Fast Triplet Metric Learning (FTML),通过采用三元组度量学习来让相似的样本在嵌入空间中的表示更接近,并与其敌对样本有类似的表示,从而提高自然语言处理模型在对抗攻击下的鲁 - 利用生成的数据提高鲁棒性
本文探讨了如何使用仅基于原始训练集的生成模型来人为地增加原始训练集的大小并提高对扰动的鲁棒性,并证明了即使添加非现实的随机数据也可以提高鲁棒性。在 CIFAR-10、CIFAR-100、SVHN 和 TinyImageNet 上进行了大量的 - BulletTrain:通过边界示例挖掘加速鲁棒神经网络训练
提出了一种新的基于边界样例挖掘的技术 BulletTrain,通过动态预测重要样例并优化算法来大幅减少机器学习中对强鲁棒性训练所需的计算成本,并成功将其应用于多个已有的算法,包括 TRADES 和 MART 等,并在 CIFAR-10 和 - ICLR鲁棒学习与生成模型相遇:代理分布能否提高对抗鲁棒性?
使用生成模型学习的代理分布来提高深度神经网络的鲁棒性,并提出了一种鲁棒区分方法,证明了采用扩散基生成模型作为代理分布比生成式对抗网络更优越。
- EMNLP通过鲁棒性训练提升零样本跨语言迁移学习
本文提出了一种通过对抗样本和零样本跨语言转移失败案例进行联系的学习策略,采用对抗性训练和随机平滑这两种方法来训练多语言编码器更加强健的模型,实验结果表明,强健训练可以提高零样本跨语言数据分类任务中的性能,尤其在输入语句属于两种不同语言的情况 - 针对噪声标签的神经网络鲁棒训练核心集
提出了一种基于 coresets 和梯度下降的方法来处理具有噪声标签的深度神经网络的鲁棒性训练问题,并证明该方法不会过拟合噪声标签,实验证明该方法取得了诸如在 CIFAR-10 上以 80%噪声标签训练后,准确度提高了 6%,在 mini - ICML一种单环平滑梯度下降 - 上升算法用于非凸凹极小极大问题
该研究介绍了一种与梯度下降上升(GDA)算法相结合的 “平滑” 方案,以解决非凸 - 凹最小 - 最大问题,此方案能够稳定振荡,并确保收敛到一个定值解。实验结果表明,平滑后的 GDA 算法对于 minimizing pointwise ma - EMNLP自然语言处理的差分隐私表示:形式保证和隐私公平性的实证研究
提出了一种名为 DPNR 的深度学习方法,该方法使用差分隐私实现了对文本中提取的表示的隐私保护,并通过在强健训练中集成 DP 噪声表示来维护学习表示的效用。实验结果表明,DPNR 可以在不显著牺牲主要任务性能的情况下大大减少隐私泄露。
- 深度神经网络中的噪声标签学习:综述
本文综述了深度学习中标签噪声的学习问题,提供了 62 种最新的鲁棒训练方法,并系统性比较了六个评估指标。同时,分析了噪声估计率和评估方法,并提出了未来的几个研究方向。
- 利普希茨界和拉普拉斯平滑法可证明的鲁棒训练
本文提出了一个基于图的学习框架来训练在对抗扰动下具有稳健性的模型,并通过 Lipschitz 约束将对抗性稳健学习问题形式化为损失最小化问题,设计了一个稳健训练方案来收敛到拉格朗日函数的鞍点。 最终通过实验表明,在达到期望的标准表现的同时提 - 基于模型的鲁棒深度学习:泛化到自然的离群数据
文章提出了从基于扰动的对抗鲁棒性转向基于模型的鲁棒深度学习的新范式,并探讨了使用深度生成模型来学习自然变化模型并进一步提高深度学习对于自然变化的鲁棒性的三种新型算法,实验表明,该方法在自然情况下能够超越标准深度学习算法和基于范数的鲁棒深度学 - AAAI神经网络的鲁棒性外部分布检测
本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响,并提出了一种名为 ALOE 的有效算法,该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier exampl - 面向安全应用的成本感知鲁棒树集成
该论文提出了一种基于成本驱动的约束来训练鲁棒性决策树模型的成本建模方法,在 Twitter 垃圾邮件检测等场景中显示出比现有方法更高的准确性、更低的误报率和更强的成本感知鲁棒性。