ICCVSep, 2019

利用 CNN 的相机：走向嵌入式神经网络像素处理器阵列上

PDF
TL;DR本文介绍了一个卷积神经网络在像素处理器阵列（PPA）传感器上的实现，实现了三值权重卷积和经过 SCAMP5 PPA 系统的网络的推断。
convolutional neural networkpixel processor arrayppa sensorsternary weight convolutionsscamp5 ppa system
发现论文，激发创造
  • 将图像变换映射到像素处理器阵列

    像素处理器阵列（PPA）是一种新的视觉传感器 / 处理器架构，具有一组 SIMD 处理元素，每个元素能够进行光捕获、存储、处理和本地通信。本文展示了如何直接在 PPA 上执行各种图像变换，包括错切、旋转和缩放。通过在蜂窝处理器阵列中利用并行计算，以最小化所需的 SIMD 指令数量，有效地执行了图像变换。这些基本图像变换是许多视觉任务的重要构建模块，同时本文旨在作为未来 PPA 研究的参考，并展示了 PPA 架构的灵活性。

    Mar, 2024

  • PixelRNN: 像素内循环神经网络用于端到端优化的神经感知

    本文提出了一种基于二进制操作的有效循环神经网络架构 PixelRNN，利用新型图像传感器的编程能力和最小处理能力直接在传感器上对时空特征进行编码，相对于传统系统，PixelRNN 将需要传输的数据量降低了 64 倍，同时在手势识别和读唇任务上实现了有竞争力的准确性。经过在 SCAMP-5 传感器处理平台上的原型实现的实验证实。

    Apr, 2023

  • ASP Vision: 使用角度敏感像素进行光学计算卷积神经网络的第一层

    本论文探索了使用光学计算深度学习中 CNNs 的第一层来节省能源消耗、数据带宽和 CNN FLOPS 的方法，并使用类似于 V1 视觉皮层中的 Gabor 滤波器的自定义 CMOS 衍射图像传感器 - ASP。经过实验验证，与传统的深度学习管道相比，使用 ASP 可以实现类似的性能表现，适用于各种视觉任务，例如数字识别、物体识别和人脸识别。

    May, 2016

  • Deep Camera: 用于图像信号处理的全卷积神经网络

    使用全卷积神经网络对摄像机拍摄的原始 Bayer 图像进行缺陷像素纠正、去噪、白平衡、曝光校正、解模糊、颜色转换和伽马编码的端到端处理，此神经网络是第一个进行完整图像信号处理流程处理的。通过实验，结果表明该系统的性能优于一般传统的处理流程。

    Aug, 2019

  • 用于 FPGA 实时视频处理的定点卷积神经网络

    该论文提出了一种用于实际任务的神经网络结构，用于图像识别，它通过减少参数的数量，使用固定点算术，将权重存储在块、移位寄存器和可调卷积块中，并提供适应现有数据集以解决不同任务的方法，可以在廉价 FPGA 上实现实时视频处理。

    Aug, 2018

  • 芯片上的光学卷积神经网络

    本论文介绍了一种基于光子学电路的 CNN 数字处理体系结构，相较于当前电子学电路，本体系结构在每次推断中消耗的能量仅为其一部分。

    Aug, 2018

  • 图像处理的卷积神经金字塔

    本研究提出了一种基于卷积神经金字塔（CNP）框架的、旨在解决低层次视觉和图像处理任务的方法，可实现低计算复杂度下大感受野视觉处理。此方法适用于图像复原、填补、降噪、去除伪影、边缘升华、滤波、增强和上色等应用领域。

    Apr, 2017

  • PixelNet：以像素为本，由像素表示，为像素服务

    本文提出了从像素边缘检测到表面法线估计到高级语义分割的像素级预测问题的设计原则，通过分层抽样像素来增加多样性，探索复杂的非线性预测器并通过单一的体系结构高效地训练各种像素标记任务，最终在 PASCAL-Context 数据集上的高级语义分割、NYUDv2 深度数据集上的表面法线估计和 BSDS 上的边缘检测任务中达到了最先进的结果。

    Feb, 2017

  • PixelNet：通向通用像素级架构

    通过采用分层抽样和多尺度特征的方法，优化以卷积预测器为基础的像素级预测问题的神经网络结构，显著提高了模型在低级边缘检测、中级表面法线估计和高级语义分割中的性能.

    Sep, 2016

  • Speck：一款智能的事件驱动视觉传感器，具有低延迟 327K 神经元卷积神经网络处理流水线

    本文介绍了一种嵌入式智能视觉传感器芯片，包括基于事件驱动的相机和低功耗异步脉冲卷积神经网络计算体系结构，可以高效地提取大量传感器数据的高级信息，并以极低的延迟和能量消耗有效处理图像信息。

    Apr, 2023