Dec, 2020

SWA 目标检测

PDF
TL;DR使用随机权重平均的技术和循环学习率，我们在目标检测和实例分割中系统地研究了 SWA 的应用效果，并取得了对 COCO 基准的稳定提升。
发现论文，激发创造
  • 平均权重导致更宽的随机局部极小值和更好的泛化

    通过在 SGD 轨迹上抽样多个点进行简单平均，Stochastic Weight Averaging（SWA）过程实现了比传统训练更好的泛化，SWA 获得了 CIFAR-10、CIFAR-100 和 ImageNet 上多个最先进网络的显着测试精度提高，而且 SWA 实现简单、无几乎不需要计算成本。

    Mar, 2018

  • 自适应随机加权平均

    提出了自适应随机权重平均（ASWA）技术，该技术结合了随机权重平均（SWA）和提前停止技术，仅在验证数据集上提高泛化性能时更新模型参数的运行平均值。对于图像分类到知识图谱上的多跳推理等广泛实验中，结果表明 ASWA 在模型和数据集上都能实现统计上更好的泛化。

    Jun, 2024

  • 谦逊的教师能更好地教授半监督物体检测的学生

    我们提出了一种基于师生对抗框架的半监督目标检测方法，使用区域提议和软伪标签作为学生的训练目标，并使用指数移动平均策略更新教师。相比于最近的最先进技术，我们的模型使用许多建议和软标签向学生暴露了更丰富的信息，并通过使用检测特定数据集合，使教师更可靠地生成伪标签。在 VOC07 验证集上达到了 53.04% 的 COCO-style AP，比 STAC 高出 8.4%，在 MS-COCO 上取得了优于以往工作的表现。

    Jun, 2021

  • 无标签数据有多种一致的解释：为什么您应该平均

    研究了半监督学习中的一种基于一致性正则化的方法，提出使用随机权重平均和快速随机权重平均来加速模型的训练，达到了最先进的结果

    Jun, 2018

  • 深度学习中贝叶斯不确定性的简单基准线

    SWA-Gaussian 是一种用于深度学习中的不确定性表示和校准的简单、可伸缩和通用方法，它利用随机加权平均（Stochastic Weight Averaging，SWA）和高斯分布来进行贝叶斯模型平均，具有较好的拟合效果和性能。

    Feb, 2019

  • 精准一阶段物体检测的 AP 误差

    本文提出了一种有效的方法，将一阶段目标检测器的分类任务替换为排名任务，并采用平均准确率 (Average-Precision) 损失函数，通过优化算法，处理了训练中的极端正负样本不平衡问题，获得了比现有 AP-based 优化算法更出色的实验结果。

    Aug, 2020

  • YOLOv4：目标检测的最优速度和准确度

    论文使用多种通用特征，如批量归一化和残差连接以及新增特征，如 Mish 激活功能，实现卷积神经网络的最新成果，在实时速度下达到了 MS COCO 数据集的 43.5% AP（65.7% AP50）。

    Apr, 2020

  • 训练高效的卷积神经网络：优化神经网络的基本组成部分，创造更轻、更快、更强韧的模型

    本研究旨在回顾各种最先进技术，探讨如何通过序列减少训练参数和使用像全局均值池化、深度卷积和挤压、模糊化池等技术进行分阶段训练来构建高效的深度卷积网络，并成功实现了在 MNIST 数据集上仅使用 1500 个参数达到 99.2% 的高准确度，并在 CIFAR-10 数据集上仅使用超过 140K 个参数达到了 86.01% 的高准确度。

    May, 2022

  • 稀疏权重激活训练

    本文提出了一种名为 Sparse Weight Activation Training (SWAT) 的算法，相比传统训练更加节省计算和内存资源，在保证验证准确率的同时可以在使用最新的 CNN 架构和数据集进行训练时具有很高的速度和内存节省率。

    Jan, 2020

  • 具有 AP 损失函数的精确单阶段目标检测

    本文提出了一种基于排序任务和平均准确率损失（AP-loss）的新框架和一种新的优化算法，以解决一阶段目标检测器中的分类任务造成前景背景极度不平衡问题。实验证明这种方法可以有效提高检测性能。

    Apr, 2019