Nov, 2023

光子学加速深度神经网络训练：基于残余数系统的设计

PDF
TL;DRMirage 是一种基于残留数系统（RNS）的光子深度神经网络（DNN）训练加速器，通过将 RNS 和光子学相结合，提供高能效、高精度且能够成功训练与 FP32 训练相媲美的 DNNs，相比系统阵列，平均可实现超过 23.8 倍的更快训练速度、32.1 倍的更低能耗与相当或更好的效率 - 功耗比（EDP）在等能端景下，以及 42.8 倍的更低功率消耗在等面积场景下。
发现论文，激发创造
  • 利用残留数系统设计高精度模拟深度神经网络加速器

    本文介绍了一种利用余数系统 (RNS) 来组成高精度操作的方法，从而在安宁卡尔作为高精度数模转换器 (A/D 转换) 的系统中实现了高准确性和良好的能量效率，并且使用 RNS 的误差容错能力可以实现具有容错性的模拟加速器，并且相较于常规定点方法，RNS 可以降低数据转换器的能耗数个数量级。

    Jun, 2023

  • 精密且容错的模拟神经网络蓝图

    通过使用残余数系统（RNS），我们研究表明，利用 RNS 基于方法的模拟加速器在只使用 6 位精度的数据转换器的情况下，可以实现优于 FP32 精度的 99% 以上的先进 DNN 推断，而传统的模拟核在相同的 DNN 中需要超过 8 位的精度才能达到同样的准确性。此外，我们还使用 RNS 扩展了该方法到 DNN 训练中，可以使用 7 位整数运算高效地训练 DNN，并达到与 FP32 精度相媲美的准确性。最后，我们提出了一种容错数据流，利用冗余 RNS 纠错码保护计算，以应对模拟加速器中的噪声和误差。

    Sep, 2023

  • 通过原位反向传播训练光子神经网络

    本文提出了一种新的方法，使用伴随变量方法导出光子反向传播算法的光学模拟，并通过在设备内进行强度测量来准确获得这些梯度，从而大大提高了光学神经网络的训练效率。

    May, 2018

  • 利用任意可编程的波传播扩展芯片上的光子神经处理器

    提出并展示了一种具有具有空间可重构迷向指数的二维可编程波导器件，能够通过自由传播的波在器件内进行计算，具有进行并行调制的能力，实现了比以往的离散型组件更大规模的光子芯片，为光学处理、智能感应、光谱学和光通信等广泛应用领域带来了更紧凑、更多功能的光子系统。

    Feb, 2024

  • 实时 FJ/MAC PDE 求解器通过张量化的非反向传播光学 PINN 训练

    光学计算在这篇论文中发挥了重要作用，提出了一个基于芯片的物理信息神经网络（PINNs）训练框架，用于高维偏微分方程的求解，具有相当低的能量消耗和超低的延迟。

    Dec, 2023

  • 散射光学网络的集成学习

    本文介绍了利用深度学习设计 Diffractive Deep Neural Networks (D2NNs) 进行光计算，在特征工程和集成学习方面的改进，以提高其图像分类准确度，并在 CIFAR-10 测试图像上达到了 61.14％和 62.13％的盲测试准确率，是目前任何衍射光神经网络设计方法在相同数据集上所取得的最高推理准确度，并可能提供跨越衍射光影像分类和机器视觉系统应用空间的重大飞跃

    Sep, 2020

  • 朝向高效的光子超维计算

    近年来，硅光子学计算作为深度神经网络（DNN）的一种有希望的替代方案崭露头角。本文提出了 PhotoHDC，这是第一个用于 HDC 训练和推断的电光子加速器，支持基本的、记录的和图形编码方案，并通过评估常见数据集显示，我们的加速器在实现 HDC 训练和推断方面可以达到比最先进的电光子 DNN 加速器低两到五个数量级的能量延时积，而且还比基于 CiM 的加速器低四个数量级的能量延时积。

    Nov, 2023

  • 空间变化的纳米光子神经网络

    光子处理器在能量成本高昂、人工智能计算需求剧增的背景下成为替代传统电子处理器的潜在选择，然而现有的光学神经网络在图像识别准确度上远远低于现代电子神经网络，本研究通过低维重参数模型引入了一种基于大核空间可变卷积神经网络，实现了基于纳米光学结构的光学神经网络在 CIFAR-10 数据集上达到 73.80% 的盲测分类准确度，首次超越现代数字神经网络 AlexNet（72.64%），让光学神经网络跻身于现代深度学习时代。

    Aug, 2023

  • 卷积神经网络的光学前端

    利用自由空间光学前端单元实现第一层的线性操作，然后通过电子方式实现后续层的混合光电架构，在 Kaggle 猫狗挑战数据库中获得了 87% 的图像分类精度。

    Dec, 2018

  • 用于机器学习的光子张量核心

    介绍了一种用于矩阵向量乘法和求和的集成光子学 TPU，通过利用波长分割复用、纳秒级延迟和基于相变材料的光学多态存储器，结合这些材料、功能和系统的物理协同作用，展示了这种 8 位光子 TPU 的性能比电子 TPU 高 2-3 个数量级，而占用的芯片面积类似，表明光子专用处理器在增强电子系统方面具有潜力，并且在即将到来的 5G 网络及其后面的网络边缘设备中表现特别出色。

    Feb, 2020