weight perturbation | BriefGPT

关键词weight perturbation

搜索结果 - 5

通过模型增强加速数据集蒸馏
本研究旨在通过生成高质量的人工合成数据集，从而提高数据集的效率，我们提出了两种模型增强技术，使用早期模型和权重扰动学习具有显著减少培训成本的信息化合成集。实验结果表明，我们的方法达到了最先进的基线方法的速度提升达到 20 倍，并且性能相当。
PDF2 years ago
IJCAI健壮权重扰动对抗训练
本文提出了 Loss Stationary Condition（LSC）约束下的 Robust Perturbation 策略，该策略通过在小分类损失的对抗数据上进行权重扰动，避免深度网络的过度拟合和过度权重扰动。在对抗训练中，该方法能显著
PDF2 years ago
深度自编码器权重扰动在表格数据压缩和分类中的应用
本文提出了周期性扰动深度神经网络权重的方法，尤其是在深度自动编码器的自监督预训练阶段。该方法在表格数据分类任务中比 dropout 方法表现更好，并可用于压缩深度预训练模型。此外，本文揭示了深度模型在表格数据集中的成功归因于真实世界数据集中
PDF2 years ago
ICCV将对抗鲁棒性普适性与平坦极小值联系起来
本文研究了 Robust Generalization 与 Robust Loss Landscape 的关系，设计了衡量该 Landscape 平坦性的度量，并验证了平坦的 Landscape 有助于提高 Adversarial Trai
PDF3 years ago
AAAI变分贝叶斯推理与最大不确定性正则化的半监督学习
本文提出了两种半监督学习的方法，第一种是将权重扰动方法（WP）应用到现有的一致性正则化（CR）方法中，第二种方法提出了一种新的一致性损失函数叫做 “最大不确定性正则化”（MUR），实验结果表明，将 VBI 或 MUR 或两种方法结合使用可以
PDF4 years ago