Aug, 2023

轻量级卷积神经网络的数据端效率

PDF
TL;DR我们研究了在图像分类和目标检测的两个重要视觉任务中，选择数据方面属性如何帮助选择或设计轻量级卷积神经网络。通过实验，我们展示了四个数据属性 - 类别数目、目标颜色、图像分辨率和目标尺度如何影响神经网络模型的大小和效率。通过基于度量学习的内部和外部类别相似度度量，来指导这些属性的评估从而实现轻量级模型。使用这些度量进行评估，其计算量比完全进行推理测试少 30 倍。我们提供了一个应用这些评估和方法来选择一个轻量级模型用于机器人路径规划应用的示例，其计算量减少了 66%，精度提高了 3.5%。
data-side attributesvisual taskslightweight convolutional neural networksintra- and inter-class similarity metricscomputation reduction
发现论文，激发创造
  • 面向物体检测的轻量级卷积神经网络

    本篇研究提出了一个细节较大的目标检测模型，利用多种轻量级网络进行特征提取，同时采用通道压缩算法提高模型执行速度，在 CPU 上实现准确率仅下降至 91.43 AP 的实时推断。

    Jul, 2017

  • 基于应用数据集特征的轻量级分类难度度量

    通过提出的分类困难度度量方法，可以在进行一次模型家族的训练和测试后，通过比较难度度量来预测不同数据集和相同家族模型的相对性能，为小型数据集选择计算效率高的模型比重复训练和测试快 6 至 29 倍。

    Apr, 2024

  • 学习简洁和描述性的视觉识别属性

    最近基础模型的进展为可解释的视觉识别提供了新的机会，通过查询大型语言模型获取描述每个类别的属性，然后应用视觉语言模型通过这些属性对图像进行分类，我们的研究发现，大量的 LLM 生成的属性与随机词几乎没有差别，我们提出了一种新的学习搜索方法来发现那些简明的属性集，该方法在 CUB 数据集上使用仅 32 个属性来区分 200 个鸟类的性能接近于大量 LLM 生成的属性（例如 CUB 的 10,000 个属性），此外，我们的新范式还展示了几个附加优势：人类的更高可解释性和互动性，以及总结知识的能力。

    Aug, 2023

  • 训练高效的卷积神经网络：优化神经网络的基本组成部分，创造更轻、更快、更强韧的模型

    本研究旨在回顾各种最先进技术，探讨如何通过序列减少训练参数和使用像全局均值池化、深度卷积和挤压、模糊化池等技术进行分阶段训练来构建高效的深度卷积网络，并成功实现了在 MNIST 数据集上仅使用 1500 个参数达到 99.2% 的高准确度，并在 CIFAR-10 数据集上仅使用超过 140K 个参数达到了 86.01% 的高准确度。

    May, 2022

  • 本地尺度不变卷积神经网络

    本研究提出了一种可以使卷积神经网络具有局部尺度不变性的简单模型，从而在面对尺度变化时，可以学习到更具有区分性的特征，并减少过度拟合的风险。

    Dec, 2014

  • 目标检测网络中数据集的维度

    该研究旨在探讨卷积神经网络（CNNs）在自动驾驶中目标检测方面的应用，以及数据的内在维度与不同层的精度关系。研究发现在特征提取过程中，正常数据与增强数据的表示存在差异。

    Oct, 2022

  • 使用数据增强、Focal Cosine Loss 和集合方法进行图像分类的高效深度学习方法

    为提高深度学习模型的性能和泛化能力，本论文提出了数据、损失函数和预测等三个方面的技术，以有效地利用小数据集进行训练。通过利用仅包含每类 50 张图像的 ImageNet 数据，我们取得了高准确率，并在 “数据有效计算机视觉挑战” 中排名第四。

    Jul, 2020

  • 移动计算机视觉卷积神经网络的延迟和吞吐量特征化

    本文研究了用于移动计算机视觉系统的卷积神经网络性能特征，使用不同的硬件平台和软件框架以及本地和远程计算，并指出存在重要的延迟 - 吞吐量折衷，并阐述影响性能的几个因素。

    Mar, 2018

  • 重新思考 Inception 架构在计算机视觉中的应用

    本篇论文主要研究了如何利用适当分解卷积和激进的正则化等方法，使卷积神经网络计算效率最大化，并以 ILSVRC2012 分类挑战作为基准，报告了使用少于 2500 万参数的 5 亿乘加运算成本的网络，评估单帧评估的 top-1 误差 21.2％和 top-5 误差 5.6％的显著成果。

    Dec, 2015

  • 金属铸造缺陷检测的高效神经网络方法

    提出了一种轻量级的深度学习模型用于在钢铁制造行业中识别表面缺陷，与 MobileNet、Inception、ResNet 和 Vision transformers 等预训练卷积神经网络相比，该新模型具有更高的准确性和更快的推理速度，并采用了深可分离卷积，全局平均池化层和改进的架构高效性增强技术。

    Aug, 2022