robust generalization | BriefGPT

关键词robust generalization

搜索结果 - 15

MEAT: 提高强健性和泛化能力的中值集成对抗训练
自主集成对抗训练方法在不同训练时期通过集成模型，如模型权重平均化（WA），提高模型的健壮性。然而，先前的研究表明，对抗训练中的自主集成防御方法仍然存在健壮过拟合问题，严重影响泛化性能。为解决这个问题，本文目的在于解决权重空间异常值的影响，提
PDF14 days ago
CVPR探索视觉基础模型在无监督领域自适应中的优势
在计算机视觉领域，研究通过视觉基础模型和无监督域自适应方法在语义分割任务中的结合对提升无监督域自适应性能和增强视觉基础模型外分布泛化能力具有重要价值。实验结果表明，将视觉基础模型与无监督域自适应方法相结合，不仅能在维持视觉基础模型外分布性能
PDF20 days ago
对抗鲁棒广义化中隐性偏见的代价
我们研究了鲁棒经验风险最小化（鲁棒 ERM）中的优化隐性偏差及其与鲁棒泛化的关系。在面对带有线性模型的对抗干扰的分类设置下，我们研究了应该为给定的扰动集合理想地应用什么类型的正则化来改善（鲁棒）泛化。然后，我们表明鲁棒 ERM 中的优化隐性
PDFa month ago
理解还是不理解：在损坏的算法数据集上分解概括和记忆
深度学习中的稳健泛化是一个重大挑战，特别是当可训练参数的数量非常大时。为了应对这一挑战，我们研究了一种可解释模型，通过分析理解广义表示，并从纪念表示中轻松区分出来。通过在模量算术任务上训练两层神经网络来研究该模型。我们证明：网络在记忆损坏标
PDF8 months ago
基于 PAC-Bayes 的谱归一化界限用于对抗鲁棒泛化
深度神经网络容易受到对抗性攻击的影响，本研究聚焦于鏈基于 PAC-Bayes 方法的基于范数复杂性，并提供了一种光谱正则化的鲁棒泛化边界，相比现有边界，该边界不依赖于额外假设且更加紧致，进一步将结果拓展到抵抗一般非 l_p 攻击和其他神经网
PDF9 months ago
生成更不确定的对抗样本提高鲁棒泛化能力
最近的研究表明，深度神经网络对于对抗样本存在漏洞。已经提出了许多防御方法以提高模型的鲁棒性，其中对抗训练最为成功。本文重新审视了鲁棒过拟合现象。我们认为，对抗训练过程中产生的自信模型可能是潜在的原因，通过实证观察支持，具有更好鲁棒泛化能力的
PDF9 months ago
AI 代理的记忆和泛化能力分析：连续学习者是否稳健？
提出了一种新颖的连续学习（CL）框架，通过使用有限容量的内存保存先前观察到的环境信息以减轻遗忘问题，并从内存中采样数据点来估计环境变化的风险分布，从而获得对未知变化具有鲁棒性的预测器。实验表明，该算法在所有环境中优于基于内存的 CL 基线，
PDF10 months ago
AROID：通过在线逐实例数据增强提高对抗鲁棒性
该论文提出了一种新的方法，通过在线实例化学习数据增强策略来提高 Deep neural networks 的 Adversarial training 的鲁棒性，在多个模型结构和数据集上成功地超越了现有的竞争性数据增强方法。
PDFa year ago
CVPRGeneralist: 自然与强健泛化的解耦
通过提出基于任务感知的双专家框架 Generalist，将自然泛化和鲁棒泛化分离，为每个领域专业基础学习器选择不同的训练策略，并将它们的参数收集并组合成全局学习器进行训练，最终在自然表现和对抗性表现方面均能获得良好的结果。
PDFa year ago
CVPR通过最小化最坏情况锐度实现光子有限失真的稳健泛化
提出了 SharpDRO 方法来解决分布稀疏和含有噪声的训练集，并考虑了最坏情况下的选择过程，理论上收敛并在三个数据集上实现了良好的性能。
PDFa year ago
数据集设计与 CLIP 鲁棒性之间的交互作用：质量胜过数量
探究六种公开数据来源 ——YFCC、LAION、Conceptual Captions、WIT、RedCaps、Shutterstock—— 对 CLIP 进行预训练的分布移位是否会对性能产生影响，发现不同的预训练数据表现相差很大，并且多个
PDF2 years ago
利用领域特定特征增强领域泛化
本文提出了一种新颖的理论框架 meta-Domain Specific-Domain Invariant（mDSDI），通过元学习框架优化是领域特定表示，并通过同时学习领域特定和领域不变特点，在潜在空间中区分特征，从而针对源域进行自适应，并
PDF3 years ago
ICCV将对抗鲁棒性普适性与平坦极小值联系起来
本文研究了 Robust Generalization 与 Robust Loss Landscape 的关系，设计了衡量该 Landscape 平坦性的度量，并验证了平坦的 Landscape 有助于提高 Adversarial Trai
PDF3 years ago
CVPR对抗性顶点混合：更好的对抗性鲁棒泛化
本文针对对抗训练存在的训练准确率与测试准确率之间巨大的差距进行研究，揭示了对抗特征过拟合（AFO）现象的存在及其可能导致的不良影响，提出了软标签和 Adversarial Vertex mixup（AVmixup）技术，通过在 CIFAR1
PDF4 years ago
条件熵瓶颈
我们提出了评估模型质量的最小必要信息 (MNI) 准则，训练与该准则相对应的新的目标函数 Conditional Entropy Bottleneck (CEB) 模型以及比较该模型与确定性模型和变分信息瓶颈 (VIB) 模型表现的实验结果
PDF4 years ago