- ICML扰动和投影:差分隐私的相似性和边际
重新审视了差分隐私的输入扰动框架,介绍了有效算法用于保护隐私的发布余弦相似度和计算多特征边际查询,扩展结果适用于稀疏数据集,提供理论视角解释快速输入扰动算法在实践中的良好表现。
- RS-Reg:随机平滑的概率性和稳健回归认证
通过定义回归任务中的鲁棒性,灵活地通过概率,我们展示了如何为用户指定的观察到有效输出的概率建立输入数据点扰动(使用 $l_2$ 范数)的上界。我们还展示了在回归模型无约束操作的情况下,基本的平均函数的渐近特性。在处理输出有界的回归模型族时, - Noise-BERT:噪音对齐预训练的统一扰动鲁棒框架用于噪音槽位填充任务
提出了一种噪声对齐预训练的统一扰动鲁棒框架 Noise-BERT,用于解决对话系统中输入干扰对槽填充任务的挑战,通过引入对槽蒙版预测和句子噪声判别两个噪声对齐预训练任务,以提高语言模型对准确槽信息和噪声分布的抓取能力,并通过对比学习损失和敌 - 多集合免疫接种:跨多个挑战集评估模型的稳健性
探讨语言模型对输入扰动的敏感性以及通过不同训练策略来提高模型性能和鲁棒性的方法,通过在 Tabular-NLI 任务中的实例验证了该模型可对抗不同的扰动而不降低准确性。
- 基于时间同步配电系统状态估计的深度神经网络性能的分析验证
基于深度神经网络的时间同步状态估计器对于输入扰动具有鲁棒性和可信度的分析验证,并通过批量标准化解决混合整数线性规划问题的可扩展性限制。在修改的 IEEE 34 节点系统和真实的大型配电系统上,验证了该框架在面对微相位测量单元观测不完整的情况 - 关于基于删除的特征归因方法的鲁棒性研究
本文针对特征归因方法在存在输入和模型扰动时的鲁棒性问题,通过理论分析和实验验证探究了基于移除特征的归因方法在扰动情况下的稳健性。
- 利用对比输入解码揭示大型语言模型中的偏见
提出对比性输入解码算法 (CID) 来量化大型语言模型对不同输入的行为变化,发现标准解码策略未能检测到的特定语境偏差。
- AAAI对比自监督学习导致更高的对抗性易感性
通过对比自监督学习与 supervised learning 在对抗鲁棒性上的表现,本文发现 contrastive self-supervised learning 的数据表示倾向于在单位超球面上均匀分布,这导致其比 supervised - ICML基于节点的贝叶斯神经网络解决协变量偏移问题
本文介绍一种基于节点的贝叶斯神经网络模型,通过增加隐变量将每个隐藏层节点与潜在随机变量相乘,以此模拟不同类型的数据扰动。通过增加隐变量的熵,实现了在协变量转移下,输入数据发生变化时提高隐式置信度的效果,同时还具备了对嘈杂训练数据具有鲁棒性的 - 深度学习文本分类算法对实际输入扰动的敏感性研究
本文研究基于深度学习的文本分类模型(CNN、LSTM 和 BERT)在面对有意义但与最终性能无关的输入扰动(如标点符号和停用词)时的表现,发现包括 BERT 在内的这类模型都很敏感,特别是对于输入扰动的删除尤其受影响。
- ACL解读神经自然语言处理模型对文本扰动的鲁棒性
研究现代自然语言处理模型中对于不同的输入扰动如何表现更差,进而发现一个模型对于未知文本扰动的鲁棒性较低的原因是模型未很好地学习到如何识别这些扰动。
- 探索变分自编码器健壮性的理论理解
研究了变分自编码器(VAEs)对抗攻击和其他输入扰动的鲁棒性,提出了用于构建 VAEs 鲁棒性的新准则,并定义了在输入空间中的保证条件,VAEs 训练使用解缠方法得出的评分在我们的鲁棒性指标下表现良好,这些原因可以解释为我们理论结果的结果。
- ICLR深度神经网络分类器在乳腺癌筛查中的鲁棒性理解
深度神经网络可用于乳腺癌筛查,但在应用时需要考虑输入扰动的鲁棒性,本文探究了针对自然图像的文献和针对乳腺 X 线摄影术图像的差异,通过测量受四种常见扰动影响的乳腺 X 线摄影术图像分类器的灵敏度,得出结论认为已有文献可供参考;本文同时提出了 - ICLR关于在潜空间中定义邻近分布的好处
本文提出了一种在生成模型的潜在空间中定义 vicinal 分布的方法,称为 VarMixup,并在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 数据集上进行了实证研究,结果表明使用 VAE 学习的潜在流形执行 mi - 神经随机微分方程:用随机噪声稳定神经常微分方程网络
本研究介绍了一种新型连续神经网络框架 Neural SDE,该框架自然地融合了基于随机噪声注入的各种常用正则化机制,可用于输入干扰和非对抗性扰动的鲁棒建模,并可实现更好的泛化性能和对抗性强化训练。
- ACL构建强韧的神经机器翻译系统
本文提出采用对抗性稳定性训练来提高神经机器翻译 (NMT) 模型的鲁棒性,通过使编码器和解码器在输入和其扰动版本的情况下行为相似,进而提高模型的容错性。在汉英、英德和英法翻译任务中的实验结果表明,该方法不仅可以显著提高强 NMT 系统的翻译 - ICLR神经网络中的灵敏度和泛化性:一项实证研究
本研究通过对深度学习模型的多方面度量,特别是模型对输入扰动的敏感性度量,研究了大规模的、过度参数化的神经网络与小规模的夹杂网络的复杂度与泛化之间的紧张关系,并得出结论:训练的神经网络在其训练数据范围内更加鲁棒,这种鲁棒性与泛化能力有关联,而