Mar, 2019

可重编程的电光非线性激活函数用于光学神经网络

PDF
TL;DR通过光电硬件平台实现了光学神经网络中的非线性激活函数，通过数值模拟，证明该激活函数能够显著提高神经网络的表现，使得其在多个任务上表现更好，如图像分类任务中精度从 85% 提升至 94%。
optical neural networksnonlinear activation functionselectro-optic hardware platformanalog electric signalmnist dataset
发现论文，激发创造
  • 基于神经网络的光学均衡器非线性激活函数的硬件实现

    本文论述了通过逼近激活函数来实现双向 LSTM 光信道均衡器的性能近似于原模型，以减少神经网络化光学信道均衡器的硬件实现复杂度。

    May, 2023

  • 线性光学非线性处理

    研究使用多次散射的方法，在低光功率下实现具有程序控制的线性和非线性变换，实现光学多层网络的实现

    Jul, 2023

  • 卷积神经网络的光学前端

    利用自由空间光学前端单元实现第一层的线性操作，然后通过电子方式实现后续层的混合光电架构，在 Kaggle 猫狗挑战数据库中获得了 87% 的图像分类精度。

    Dec, 2018

  • 利用被动光学非线性映射的深度学习

    介绍了一种利用混沌光学的技术为 Edge 计算设备提供了一种新的、能够提高运算性能且能够处理高度非线性特征的平台。

    Jul, 2023

  • 光学编码器的光子优势

    通过将光学与数字技术协同处理，并操作于凝聚态光学信号下，我们成功地优化了一个混合光学 - 数字的人工神经网络，发现相比于数字技术，其在低功耗 / 低延迟下具有更高的分类精度，这表明在一些应用中，光学技术比数字技术更优越。

    May, 2023

  • 使用端到端光传播训练神经网络

    光学是下一代机器学习计算硬件的令人激动的方向，能够在计算速度和能源效率方面提供数个数量级的增强。本研究首次提出了一种简单而通用的方案，通过饱和吸收体作为激活单元，并通过泵浦 - 探测过程实现所需的性能以解决光学实现反向传播的挑战，从而展示了完全依赖于模拟光学过程进行训练和推理任务的神经网络的构建可能性。

    Aug, 2023

  • 非线性光学数据转换器用于机器学习

    通过利用复杂的非线性光学处理器，利用光学计算实现简化的机器学习模型来进行图像分类。

    Aug, 2022

  • 光学神经网络在每次激活时仅受限于量子噪音

    在超低功率机制下，研究光神经网络的行为，证明可以通过直接模拟光信号的随机性行为来训练具有极高噪声水平的光神经网络，实现高精度的确定性图像分类任务。

    Jul, 2023

  • 非线性增强的自适应激活函数

    通过引入具有偶次立方非线性的简单实现的激活函数，可以提高神经网络的准确性，而不需要大量的计算资源。这部分是通过收敛性和准确性之间的显著折衷来实现的。该激活函数通过引入可优化参数来增加标准 RELU 函数的自由度，从而调整非线性程度。通过与标准技术的比较，利用 MNIST 数字数据集量化了相关的准确性提升。

    Mar, 2024

  • 空间变化的纳米光子神经网络

    光子处理器在能量成本高昂、人工智能计算需求剧增的背景下成为替代传统电子处理器的潜在选择，然而现有的光学神经网络在图像识别准确度上远远低于现代电子神经网络，本研究通过低维重参数模型引入了一种基于大核空间可变卷积神经网络，实现了基于纳米光学结构的光学神经网络在 CIFAR-10 数据集上达到 73.80% 的盲测分类准确度，首次超越现代数字神经网络 AlexNet（72.64%），让光学神经网络跻身于现代深度学习时代。

    Aug, 2023