- $L_p$ 范数扭曲效率高的对抗攻击
该研究提出了一种新型 Lp 范数扰动有效的对抗攻击方法,旨在减少 L0 范数失真,通过设计优化方案和引入对抗阈值概念,实现了更好的对抗稳健性和视觉不可感知性。
- 自适应对抗性交叉熵损失用于尖锐感知最小化
近期学习算法的进展表明,损失曲面的陡峭程度是提高泛化差距的有效指标。本研究引入创新的方法进一步增强模型泛化能力,提出了自适应对抗交叉熵(AACE)损失函数替代 Sharpness-Aware Minimization(SAM)的扰动,同时提 - 批中批:一种新的对初值扰动和样本选择的对抗训练框架
通过 Batch-in-Batch(BB)训练框架,从初始扰动和样本选择策略两方面提高模型鲁棒性,并通过在多个对抗设置上的实验验证了该框架在三个基准数据集上训练的模型在对抗准确性方面的优越性。
- 局部估计的全局扰动优于本地扰动的联邦锐度感知最小化
通过在联邦学习中本地估计全局扰动的方向,FedLESAM 算法提高了联邦 Sharpness-Aware Minimization(SAM)方法的质量和效率。
- 扰动约束的序列模型编辑
对于大型语言模型的连续学习提出了一个名为 PRUNE 的框架,通过应用条件数的限制来保护模型的一般能力,从而在顺序模型编辑中有效地维持了编辑性能。
- 应用动作空间中自适应对抗扰动的鲁棒深度强化学习
深度强化学习算法中的模拟和真实世界之间的建模错误问题,通过使用对抗学习生成扰动以建模差异并提高深度强化学习的鲁棒性,在控制对抗性扰动的参数上存在平均性能和鲁棒性之间的权衡。为了保持训练的稳定性并提高鲁棒性,我们提出了一种简单而有效的方法,即 - CVPR自适应双向位移用于半监督医学图像分割
提出了一种自适应的双向位移方法 (ABD) 来解决半监督医学图像分割中不可标记数据一致性学习的挑战,包括可靠预测置信度的双向补丁位移生成新样本以有效抑制不可控区域和保留输入扰动的影响,以及通过逆置信度生成具有更不可靠信息的样本以促进模型学习 - 神经常微分方程网络的伴随方法注记
通过摄动和算子伴随方法,我们严格地给出了右伴随形式。从推导中我们得到以下结果:1)损失梯度不是一个 ODE,而是一个积分,我们展示了原因;2)传统的伴随形式与反向传播结果不等价。3)伴随算子分析表明,只有在离散伴随具有与离散神经 ODE 相 - 研究模型不稳定性对解释和不确定性的影响
通过人为引入噪音来模拟文本输入的认知不确定性,在大规模实证研究中,我们插入不同级别的噪音扰动,并测量其对预训练语言模型输出和不同不确定性度量的影响。实际扰动对性能和解释几乎没有影响,而掩饰却有极大影响。我们发现在训练过程中暴露噪声时,高不确 - 评估量子神经网络中的模型窃取攻击和防御机制的有效性
云端托管的量子机器学习(QML)模型面临许多漏洞,其中最重要的是模型窃取攻击。本研究评估了这些攻击在量子计算领域的效果,利用多个 QML 模型体系结构在不同数据集上进行了全面的实验。实验结果显示,使用 Top-1 和 Top-k(k: nu - 探测 GPT 是否充分利用扰动?基于模型对比学习检测器选择性扰动更佳
我们提出了一种新的检测器,使用选择性策略扰动减轻了随机屏蔽引起的重要信息损失,并使用多对比学习来捕捉扰动过程中的隐含模式信息,从而提高少样本学习性能。在四个公共数据集上,实验证明,我们的模型在准确度上比 SOTA 方法平均提高了 1.20% - 大规模语言模型的知识编辑的邻域扰动
大语言模型中的编辑知识对邻近知识的扰动度及其对答案列表的影响的研究,以及通过一种名为 APP 的框架来减轻邻近扰动的有效性实验证明。
- 信息瓶颈结合奇异正则化改进模型的对抗鲁棒性
通过奇异值分解将图像分解为多个矩阵,对不同攻击的敌对信息进行分析,提出一种新的模块来规范敌对信息,并结合信息瓶颈理论实现中间表示的理论限制,从而提高模型的鲁棒性。
- 转折点:现实世界中面部隐私保护的辅助信息引导生成不可学习示例
利用多次使用的模型生成所需扰动,引入真实标签和伪标签以提高迁移性,并将扭曲层整合到训练流程中,通过实验证明所提出的 Segue 方法相比之前的方法更快(1000 倍),在不同数据集和模型架构上实现了迁移效果,并能抵抗 JPEG 压缩、对抗性 - 朝向基于因果关系的深度学习漏洞检测
该研究论文介绍了引入因果关系到深度学习漏洞检测中,通过设计新的扰动和应用因果学习算法来去除非稳健特征,从而提高模型的准确性、稳健性和泛化能力。
- 参数节省的对抗训练:通过超网络增强多扰动鲁棒性
本文提出了一个新颖的多扰动对抗训练框架,即参数节省的对抗训练(PSAT),强化多扰动鲁棒性的同时具有参数节省的优势,并通过使用超网络训练专门针对单一扰动的模型并集成这些专门模型以抵御多种扰动。最终,我们在不同数据集上对我们的方法与最新攻击方 - SIGIR通过对手在推荐系统中实现自动特征公平性
通过对敏感特征进行公平处理实现公正的推荐系统的研究中,我们提出了特征公平性作为实现各种特征组合下不同群体之间公平处理的基础。通过平衡特征的普适性来提高整体准确性。我们介绍了通过对抗训练实现无偏特征学习的方法,使用对抗扰动来增强特征表示。对抗 - 通过扰动神经网络推断有效连接性:基于合成脑电图数据的证据
通过扰动训练好的神经网络来推断有效连接性(effective connectivity),以揭示人工神经网络预测未来系统动态的潜在因果结构。
- 稀疏扰动锐度感知极小化优化器的系统研究
本文提出一种高效的 Sparse SAM 训练 scheme 来有效减少训练中的计算量,以达到平滑损失函数的目标,并提供了基于 Fisher information 和 dynamic sparse training 的两种不同的稀疏 ma - 机器遗忘的研究与分类调查
该论文综述了机器取消学习的最新技术和方法,包括数据删除、扰动和模型更新,并强调了训练数据、资源限制和攻击复杂性等需要解决的挑战。此外,该论文强调了机器取消学习在自然语言处理、计算机视觉和推荐系统中的潜在益处和未来方向,并强调了研究人员和从业