透过现场反向传播训练全机械神经网络进行任务学习

Apr, 2024

透过现场反向传播训练全机械神经网络进行任务学习

Training all-mechanical neural networks for task learning through in situ backpropagation

Shuaifeng Li, Xiaoming Mao

TL;DR我们介绍了一种高效的机械神经网络 (MNN) 训练方法，该方法通过机械模拟的现场反向传播实现了在 MNN 中获取准确梯度信息的能力，从而成功地训练了 MNN 并实现了高精度的回归和分类任务，同时展示了 MNN 的重训练性和鲁棒性。我们的研究结果为机械机器学习硬件和自主自学材料系统铺平了道路。

Abstract

Recent advances unveiled physical neural networks as promising machine learning platforms, offering faster and more energy-efficient information processing. Compared with extensively-studied optical neural networks, the development of mechanical neural networks (MNNs) remains nascent a

mechanical neural networks in situ backpropagation behavior learning machine learning tasks mechanical machine learning hardware

发现论文，激发创造

物理神经网络训练

物理神经网络（PNN）是一种利用物理系统特性进行计算的类神经网络，其有潜力在现代人工智能领域引发革新，尤其在训练大规模的 AI 模型以及探索新的训练技术方面尤为重要。

Jun, 2024

通过原位反向传播训练光子神经网络

本文提出了一种新的方法，使用伴随变量方法导出光子反向传播算法的光学模拟，并通过在设备内进行强度测量来准确获得这些梯度，从而大大提高了光学神经网络的训练效率。

May, 2018

神经机械自编码器：学习将弹性和神经网络非线性耦合

本文介绍了一种机械智能和形态计算的机器学习模型，使用了可学习的细胞实体材料作为形态物质，以及神经网络控制方法来实现非直观的机械行为，并在仿真和实际测试中验证了此方法的可行性。

Jan, 2023

低功耗神经形态处理硬件

本文回顾了构建新一类仿效人脑以时间编码和处理信息的信息处理引擎所涉及的一些体系结构和系统级设计方面，以解决能效问题。

Jan, 2019

神经科学启发的机器学习综述

这篇论文调研了模拟生物可行的信用分配规则在人工神经网络中的多个重要算法，并讨论了它们在不同科学领域的解决方案以及在 CPU、GPU 和神经形态硬件上的优势，最后讨论了未来需要解决的挑战，以使这些算法在实际应用中更加有用。

Feb, 2024

反馈与局部可塑性学习的学习

本研究使用元学习发现网络如何利用反馈机制和本地、仿生学习规则，以进行在线信用分配，并超越了现有的基于梯度的算法在回归和分类任务方面的性能，特别是在持续学习方面表现优异，结果表明存在一类生物可行的学习机制，不仅匹配梯度下降，而且还克服了其局限性。

Jun, 2020

大核心超材料神经网络的数字建模

提出了一种新颖的大卷积核变形材料神经网络（LMNN），通过模型重新参数化和网络压缩来最大化最先进的元件网络（MNN）的数字容量，并明确考虑了光学限制，实验结果证明这种优化的混合设计提高了分类准确性同时减少了计算延迟。

Jul, 2023

无需反向传播的深度物理神经网络训练

实现了使用生物可行的学习算法训练深度物理神经网络的简单深度神经网络结构，以提高训练速度，减少数字计算和降低物理系统的能量消耗。

Apr, 2023

学习解决信用分配问题

本文提出了一种混合学习方法，即每个神经元使用强化学习策略来学习如何近似反向传播算法提供的梯度，并给出了对于特定类别的网络中，该方法收敛到真实梯度的证明。在前馈和卷积神经网络中，我们经验证明我们的方法学习如何逼近梯度，并且可以匹配或超越精确梯度学习的性能。学习反馈权重提供了一个生物学上可行的机制来实现良好的性能，无需精确的预先指定学习规则。

Jun, 2019

基于生物学启发的循环神经网络学习的反向传播时序算法替代方案

通过实时与合适的自上而下学习信号合并本地可用信息，为循环神经网络提供了高效的学习算法，其中包括了神经形态芯片的在线训练，从而拓宽了大脑中的网络学习理解并在实验中得到了验证。

Jan, 2019