weight regularization | BriefGPT

关键词weight regularization

搜索结果 - 5

ICCV超稀疏神经网络：通过自适应正则化将探索转化为利用
提出了一种新颖且强大的稀疏学习方法：自适应正则化训练（ART）。通过逐步增加权重正则化，我们将稠密网络压缩为稀疏网络，并通过最高权重的方式压缩预训练模型的知识。在极高稀疏度情景下，我们的方法在 CIFAR 和 TinyImageNet 上比
PDFa year ago
面向 SIMD 大小的权重正则化，用于 CPU 上的快速神经语音合成
提出一种权重正则化的方法来加速神经声码器，通过将权重矩阵转换为张量并将权重按组大小对齐，然后计算群 Lasso-like 正则化损失，实现不影响质量的剪枝，并达到比传统方法更快的处理速度。
PDF2 years ago
ECCV通过无视偏移的权重正则化和最近源原型来提高测试时间适应能力
本文提出了一种新型的测试时间适应策略，该策略仅使用来自目标域的无标注在线数据，对在源域上预训练的模型进行调整，以减轻源域和目标域之间的分布差异导致的性能下降，并给出了相应的方法和实验结果，证明其在各个标准基准上表现优异，甚至优于其有监督的对
PDF2 years ago
自然延续学习：成功源于旅程，不仅仅是终点
本文提出了一种称为自然连续学习（NCL）的新方法，该方法统一了权重正则化和投影梯度下降。NCL 使用贝叶斯权重正则化来鼓励在收敛时所有任务的良好表现，并结合使用先验精度的梯度投影，从而防止优化过程中的灾难性遗忘。我们的方法在前馈神经网络和循
PDF3 years ago
ICLR神经网络的等效标准化
通过引入一种快速的迭代方法，可以最小化权重的 L2 范数，同时提高了测试准确率，从而为小批量数据提供了一种替代 CIFAR-10 和 ImageNet 的 ResNet-18 中的批量和分组规范化方法
PDF5 years ago