利用标准机器学习工具训练多层动态自旋电子网络以进行时间序列分类

Aug, 2024

利用标准机器学习工具训练多层动态自旋电子网络以进行时间序列分类

Training a multilayer dynamical spintronic network with standard machine learning tools to perform time series classification

HTML

PDF

Erwan Plouet, Dédalo Sanz-Hernández, Aymeric Vecchiola, Julie Grollier, Frank Mizrahi

TL;DR本研究针对传统计算机上实现递归神经网络时的高计算成本问题，提出使用自旋电子振荡器作为动态神经元在硬件中实现递归神经网络。通过数值仿真和时间反向传播训练方法，我们构建的多层网络在序列数字分类任务中达到89.83±2.91%的准确率，效果与等效软件网络相当，为处理时间序列提供了低能耗的新方案。

Abstract

The ability to process time-series at low energy cost is critical for many applications. Recurrent neural network, which can perform such tasks, are computationally expensive when implementing in software on conventional computers. Here we propose to implement a recurrent neural network in hardware using spintronic oscillators as dynamical neurons. Using num

发现论文，激发创造

波物理作为模拟循环神经网络

利用物理波动的动力学和循环神经网络之间的映射，我们设计了一种基于波动物理模型的模拟机器学习硬件平台，可以训练物理波系统来学习时间序列数据的复杂特征，并在声波传播的不均匀介质中完成原始语音信号的元音分类任务，标准的数字实现也可以在性能上得到可比较的表现。

Apr, 2019

递归神经网络中的反向传播算法和储备计算用于复杂时空动态预测

本文研究使用循环神经网络以及储备计算和时域反向传播来预测高维和低维复杂系统的时空动态，结果表明：对于长期预测混沌系统，当全部状态动态数据用于训练时，储备计算方法的预测性能优于时域反向传播，但在使用低维数据时时域反向传播方法表现更好。同时该研究还首次量化了使用时域反向传播方法的 Lyapunov 谱。

Oct, 2019

耦合振荡循环神经网络（coRNN）：一种用于学习长时依赖的准确且(梯度)稳定的结构

本文中提出基于神经振荡器非线性控制网络的二阶常微分方程模型时间离散化的递归神经网络，证明其对于隐藏状态的梯度具有精确的上限，解决了梯度问题，实验证明该递归神经网络在处理复杂的时序数据上具有稳定和准确的性能，达到了现有技术水平。

Oct, 2020

神经振荡器是普适的

介绍了一种抽象的神经振荡器类，证明了神经振荡器是通用的，并可近似于任何时间变化函数之间的映射。这个证明为使用基于振荡器的ML系统提供了理论依据。

May, 2023

神经网络如何学习分类混沌时间序列

本文研究了神经网络在对正常与混沌时间序列进行分类训练时的内在机制，并提出了一种新型网络架构——大核卷积神经网络（LKCNN），比传统的一些网络架构更加高效。针对低精度的神经网络分类问题，提出了一种使用输入周期性和激活周期性的新颖方法，使得分类结果的准确率得到提高。

Jun, 2023

自旋电子学用于图像识别：通过超快数据驱动模拟进行性能基准测试

通过使用数据驱动的模拟框架，我们展示了利用基于旋涡磁性自转振荡器（STVO）的自旋电子学纳米结构进行图像分类的硬件基础脉冲网络（ESN）的演示。通过模拟STVO动力学，我们有效地开发、优化和测试了基于STVO的ESN，用于使用MNIST数据集进行图像分类。我们展示了我们解决EMNIST字母和时尚MNIST数据集的分类挑战的灵活性。尽管我们的模型在MNIST数据集上实现了最先进的准确性水平，但在EMNIST字母和时尚MNIST上的性能较低，这是由于系统架构的相对简单性和任务复杂性的增加。我们期望DD-TEA框架将有助于探索更专门的神经架构，最终提高分类准确性。这种方法还有望用于研究和开发专用的学习规则，以进一步提高分类性能。

Aug, 2023

磁滞建模的神经振荡器

通过开发基于普通微分方程的递归神经网络 (RNN) 方法来建模和量化滞后现象，这一研究突出了神经振荡器相对于传统 RNN 方法在捕捉磁性材料中复杂滞后模式方面的优势。

Aug, 2023

循环网络识别具有低维振荡的模式

通过对一个受SET卡牌游戏启发的简单任务上训练的循环神经网络（RNN）进行解读，本研究提出了一种新颖的动力学机制用于模式识别。我们将训练后的RNN解释为通过低维极限环中的相位转移以类似于有限状态自动机（FSA）中的状态转换来识别模式。我们通过手工创建一个简单的振荡模型来验证这一解释，该模型能够复现训练后的RNN的动力学。我们的发现不仅暗示了一种潜在的能够进行模式识别的动力学机制，还暗示了一种潜在的FSA的神经实现。最重要的是，这项工作为深度学习模型解释性的讨论做出了贡献。

Oct, 2023

量子循环神经网络的密度矩阵仿真在多元时间序列预测中的应用

借助密度矩阵形式主义，设计了一种特定的模拟方法，以探索Quantum Recurrent Neural Networks（QRNNs）的潜力，并且能够通过捕捉不同复杂性的输入序列的非平凡模式，准确预测未来的值。

Oct, 2023

深度振动神经网络

我们提出了一种新颖的、受大脑启发的深度神经网络模型，称为深层振荡神经网络(DONN)。DONN具有振荡内部动态，可以在信号和图像/视频处理的多个基准问题上提供与已发表结果相当或更好的性能。

May, 2024