batchnorm | BriefGPT - AI 论文速递

关键词batchnorm

搜索结果 - 7

ICML简化线性注意力和渐进重参数化批归一化的高效 Transformer (SLAB)
本研究针对 transformer 中的计算瓶颈模块，即正则化层和注意力模块，提出了一种名为 PRepBN 的新方法，用于逐步替换训练中的 LayerNorm，并提出了一种简化的线性注意力模块（SLA）以实现强大的性能。实验证明，该方法在图
PDFa month ago
自然鲁棒性动态批归一化统计更新
采用傅里叶域检测损坏类型和更新 BatchNorm 统计信息的统一框架，可提高任何现成模型的损坏准确性，并进一步改善先进的稳健模型的准确性。
PDF8 months ago
用子图特定因子嵌入归一化改善 GNN 的表达能力
本文提出一种专门针对节点诱导子图的归一化方案 ——SU bgraph-s PE cific Facto R Embedded Normalization（SuperNorm），以加强 GNN 的代表性能力，并利用理论分析和实验证明其有效性，
PDFa year ago
重新审视 BatchNorm 中的 " 批次
该论文详细回顾了在视觉识别任务中 BatchNorm 所存在的问题，并且指出解决这些问题的关键是重新思考 BatchNorm 中 “Batch” 这个概念中的不同选择，通过提供这些问题及其缓解措施，帮助研究人员更有效地使用 BatchNor
PDF3 years ago
数据增广是否受益于分段批归一化
本文旨在研究如何纠正使用数据增强技术训练深度神经网络时所导致的图像偏差问题，作者提出了一种辅助 BatchNorm 方法，实验结果表明，使用弱增强训练的 BatchNorm 参数可以明显提高 CIFAR-10、CIFAR-100 和 Ima
PDF4 years ago
ICLR关于 CNN 中随机特征的表现力 —— 训练 BatchNorm 和仅 BatchNorm
本文揭示 BatchNorm 的固有特性，即通过学习仿射变换参数达到卓越的性能，结果表明这种方式可以实现神经网络中的显著表现。
PDF4 years ago
CVPRScratchDet：从头开始训练单镜头目标探测器
本文探讨了利用 BatchNorm 稳定和可预测的渐变来稳定地从头开始训练物体检测器，而不会影响网络架构的良好性能。通过在下采样因子上的广泛实验和分析，提出了 Root-ResNet 骨干网。 ScratchDet 在所有训练自头开始的探
PDF6 years ago