structural re-parameterization | BriefGPT

关键词structural re-parameterization

搜索结果 - 9

专家权重平均化：一种新的用于视觉 Transformer 的通用训练方案
Vision Transformers (ViTs) can be trained more efficiently using a modified Mixture-of-Experts (MoE) training scheme, wh
PDFa year ago
面向任务无关的 BERT 压缩的权重继承蒸馏
本文介绍了一种基于 Weight-Inherited Distillation (WID) 的知识蒸馏方法，通过直接从教师模型继承权重实现对学生模型的压缩，避免了传统方法中需要设计额外对齐损失的问题，实验结果表明 WID 在 GLUE 和
PDFa year ago
ASR: 类注意力结构重参数化
通过结构重参数化技术 (SRP) 实现网络结构间的互相转换，本文提出一种 attention-alike SRP (ASR) 技术，使得 self-attention 模块也能被重构，从而可在不需要深度模型设计的情况下提高性能。
PDFa year ago
RepSR: 使用结构重参数化和批量归一化训练高效 VGG 风格的超分辨网络
本文提出了基于结构重参数化技术训练高效的 VGG-style 超分辨率网络，并探讨了针对超分辨率网络的 BN 问题的解决方法以及设计了新的 RePSR 块，实验证明该方法可以在不同的模型大小下达到更高的性能和更好的性能和实际运行时间平衡。
PDF2 years ago
基于方向进化策略的易部署网络高效参数搜索
本文设计了一种改进的重新参数化搜索空间以及基于神经网络架构搜索的自动重新参数化增强策略，通过搜索优秀的重新参数化架构进一步提高了卷积网络的分类精度。
PDF2 years ago
CVPR在线卷积重参数化
本文提出了在线卷积重参数化（OREPA）方法来减少庞大的训练时间的成本，并探讨了一些更有效的重参数化组件，相较于现有的重参数化模型能够节省约 70％的训练时间内存成本，加速训练速度约 2 倍，并在 ImageNet 上优于以前的方法高达 +
PDF2 years ago
CVPRDyRep：动态重新参数化的引导式培训
本文提出了动态重参数化方法，通过优化计算效率、提升表征能力，采用 mini-batch 实现动态演化神经网络，并将其应用于 ResNet-18 模型上，结果表明：在 ImageNet 数据集上，相比基线模型，精度提升了 2.04％，运行时长
PDF2 years ago
RepNAS：寻找高效的重新参数化模块
本文提出一种新的搜索空间并使用 RepNAS 方法在分支数量约束下为每个层搜索最佳的多元分支块 (ODBB) 以实现高性能网络的搜索。实验结果表明，搜索到的 ODBB 可以轻松超越人工设计的多样分支块 (DBB)，并具有有效的训练。
PDF3 years ago
ICCVResRep: 通过解耦记忆和遗忘实现无损 CNN 剪枝
本研究提出了 ResRep 方法，该方法可通过重要参数的记忆和抛弃来实现有结构的稀疏，并且可以在不损失精度的情况下压缩 ResNet-50 模型，实现了高压缩率下的无损剪枝。
PDF4 years ago