May, 2023

光学神经网络的前向 - 前向训练

PDF
TL;DR本文介绍了一种利用光学系统实现神经网络训练的新路径，该方法使用了 Forward-Forward Algorithm 和多模非线性波传播等技术来提高 NN 性能。
neural networksoptics-based platformsforward-forward algorithmmultimode nonlinear wave propagationphysical transformations
发现论文，激发创造
  • 综合正向算法：将正向传递和浅层反向传播与局部损失相结合

    该研究比较了反向传播算法、前向 - 前向算法和提出的一个整合算法，并在 MNIST 数据库上进行了分类任务的测试，结果表明，使用提出的整合算法可以生成具有强健性等优势特征的神经网络。

    May, 2023

  • 高光谱图像分类的前向算法：初步研究

    本研究探讨前向传递算法在高光谱图像分类中的应用，实验结果和比较分析表明该方法具有较大的潜力和优势，相较于传统反向传播算法可更好地克服初值敏感、梯度消失、过拟合和计算复杂度等问题。

    Jul, 2023

  • 使用端到端光传播训练神经网络

    光学是下一代机器学习计算硬件的令人激动的方向，能够在计算速度和能源效率方面提供数个数量级的增强。本研究首次提出了一种简单而通用的方案，通过饱和吸收体作为激活单元，并通过泵浦 - 探测过程实现所需的性能以解决光学实现反向传播的挑战，从而展示了完全依赖于模拟光学过程进行训练和推理任务的神经网络的构建可能性。

    Aug, 2023

  • 通过原位反向传播训练光子神经网络

    本文提出了一种新的方法，使用伴随变量方法导出光子反向传播算法的光学模拟，并通过在设备内进行强度测量来准确获得这些梯度，从而大大提高了光学神经网络的训练效率。

    May, 2018

  • 前向学习中新兴的 NeoHebbian 动态：对神经形态计算的意义

    通过对神经计算的进一步研究，我们证明了当使用平方欧几里得范数作为驱动局部学习的好度函数时，Forward-Forward Algorithm（FFA）等同于新赫布学习规则，并通过比较两个版本的 FFA 在模拟网络和脉冲神经网络中的训练行为，证实了生物学习规则与当前使用的训练算法之间的关联，并为将 FFA 的积极结果推广到赫布学习规则铺平了道路。同时，我们的结果暗示在 FFA 下训练的模拟网络可以直接应用于神经形态计算，从而实现能源消耗的降低和计算速度的增加。

    Jun, 2024

  • 自适应前向网络的资源高效医学图像分析

    我们介绍了一种快速的自适应前向网络（SaFF-Net）用于医学图像分析，通过减少能量消耗和资源限制，解决了当前模型训练和微调中主要依赖反向传播的问题。

    Jun, 2024

  • 线性光学非线性处理

    研究使用多次散射的方法，在低光功率下实现具有程序控制的线性和非线性变换，实现光学多层网络的实现

    Jul, 2023

  • 卷积神经网络的光学前端

    利用自由空间光学前端单元实现第一层的线性操作，然后通过电子方式实现后续层的混合光电架构，在 Kaggle 猫狗挑战数据库中获得了 87% 的图像分类精度。

    Dec, 2018

  • 脑样柔性视觉推理：通过利用反馈前馈对齐

    通过反馈与前馈路径的关联对齐机制，提出了一种学习算法 Feedback-Feedforward Alignment (FFA)，通过共同优化分类和重建任务，使得反馈连接具有去噪、解决遮挡、幻觉和想象等视觉推理功能，并提供了比传统的反向传播方法更接近生物合理性的实现。这项研究为解释视觉皮层中反馈连接支持灵活视觉功能的机制提供了有前景的概念证明，也为感知现象下的视觉推理领域做出了贡献，对于开发更具生物启发的学习算法具有重要意义。

    Oct, 2023

  • 光神经网络的节能稀疏零阶优化在芯片学习中的高效实现

    本文提出了一种新的芯片上学习框架，可以快速、高效地优化光神经网络的性能，避免了传统方法的实施成本。该框架可有效解决资源约束下的无噪音优化问题，具有较好的优化稳定性与高效性，适合实际部署。

    Dec, 2020