Aug, 2023

自旋电子学用于图像识别：通过超快数据驱动模拟进行性能基准测试

PDF
TL;DR通过使用数据驱动的模拟框架，我们展示了利用基于旋涡磁性自转振荡器（STVO）的自旋电子学纳米结构进行图像分类的硬件基础脉冲网络（ESN）的演示。通过模拟 STVO 动力学，我们有效地开发、优化和测试了基于 STVO 的 ESN，用于使用 MNIST 数据集进行图像分类。我们展示了我们解决 EMNIST 字母和时尚 MNIST 数据集的分类挑战的灵活性。尽管我们的模型在 MNIST 数据集上实现了最先进的准确性水平，但在 EMNIST 字母和时尚 MNIST 上的性能较低，这是由于系统架构的相对简单性和任务复杂性的增加。我们期望 DD-TEA 框架将有助于探索更专门的神经架构，最终提高分类准确性。这种方法还有望用于研究和开发专用的学习规则，以进一步提高分类性能。
发现论文，激发创造
  • 利用非常规数据驱动的 Thiele 方程方法模拟神经形态自旋电子学

    通过结合 Thiele 方程法和微磁性模拟数据，我们开发了一个非常规模型，定量描述了自旋扭矩涡流纳米振荡器（STVO）的动力学。利用我们的分析模型解决 STVO 动力学问题，可以加速模拟速度达到与微磁性模拟相当的精度，其加速度达到 9 个数量级。我们通过模拟一个基于 STVO 的神经网络解决分类任务来展示我们的模型，并评估模型在输入信号电流强度和可能影响系统的噪声水平方面的性能。我们的方法有望加快 STVO 的神经形态计算设备设计，并大幅降低计算成本。

    Jul, 2023

  • 物理知识指导下的回声状态网络用于混沌系统预测

    使用物理知识启发的回声状态网络 (ESN) 预测混沌系统的演化，通过引入附加损失函数惩罚非物理预测，提高了预测可预见性，展示了机器学习和物理先验知识相结合的潜力。

    Apr, 2019

  • 脑启发的脉冲回声状态网络动力学在航空发动机智能故障预测中的应用

    基于脑启发的脉冲回波稳态网络（Spike-ESN）模型用于航空发动机智能故障预测，通过从航空发动机序列数据中提取有用的时态特征，将数据投影到高维稀疏空间，并通过岭回归方法读取脉冲回波稳态网络的内部状态，实验证明了该方法的优越性和潜力。

    Jun, 2024

  • 深度回声状态网络与不确定性量化在时空预测中的应用

    介绍了一种应用于非线性、多元时间序列的深度集成 ESN 模型及其在美国长期土壤湿度预测中的应用。

    Jun, 2018

  • 自主预测与长期家庭能源负荷预测的自旋物理储存器

    通过使用具有非线性磁化特性的纳米磁隧道结构作为物理水库，结合简单的线性回归进行在线训练和自主预测，本研究在动态时间序列数据和混沌时间序列数据上进行了建模，并在高精度、低内存和低能耗的硬件资源上实现了预测。

    Apr, 2023

  • 基于特征的回声状态网络：实现储备计算机可解释性与简约性的一步

    提出了一种新颖且可解释的循环神经网络结构，采用回声态网络（ESN）范例进行时间序列预测，并通过较小的并行储备池驱动不同输入组合的特征，非线性组合以产生输出，其预测能力表现优于传统单储备池 ESN。

    Mar, 2024

  • 利用隐式神经表示捕获动态相关性

    本文介绍了基于人工智能的框架和神经网络相结合的研究，通过在实验数据上回收未知参数，自动检测和完善多维散射数据中的先进有序量子体系的模型。

    Apr, 2023

  • 基于量子化非挥发性纳米磁阻元件的自编码器用于高效无监督网络异常检测

    基于自动编码器的异常检测范式中，依靠具有实时学习能力的边缘设备实现自动编码器是一项极富挑战性的任务。通过设计具有低分辨率的非挥发性存储器型突触的自动编码器，并采用一种有效的量化神经网络学习算法，我们证明这些限制可以得到解决。我们提出了一种带有工程化凹槽的铁磁记录道，以磁域壁作为自动编码器的突触，其中通过自旋轨道涡流脉冲来操作有限状态（5 状态）的突触权重。我们在 NSL-KDD 数据集上评估了所提出的自动编码器模型对异常检测的性能。通过对突触进行有限分辨率和 DW 器件随机性感知的训练，我们得到了与拥有浮点精度权重的自动编码器相当的异常检测性能。虽然量化状态的有限数量和纳米尺度器件中固有的随机性对性能有负面影响，但我们的面向硬件的训练算法被证明可以利用这些不完善的器件特性，从而提高异常检测的准确性（90.98%），相较于使用浮点训练权重的准确性。此外，我们的 DW-based 方法在训练过程中相较于浮点训练方法重要减少了至少三个数量级的权重更新，意味着我们的方法可以大大节省能量。这项工作有望推动非挥发多状态突触型处理器的极高能效、能够在边缘上对无监督数据进行实时训练和推断的发展。

    Sep, 2023

  • 基于 ESN 的部分观测动态系统的预测时域变异性

    使用局部状态观察研究动力系统的问题在于其适用于许多现实世界的系统。我们通过提出具有局部状态输入和局部或全部状态输出的回声状态网络框架来解决这个问题，结合 Lorenz 系统和 Chua 的振荡器进行验证，表明该方法的有效性。因此，我们证明了 ESN 作为一种自主动力系统具有短期预测数个 Lyapunov 时间的能力，并能有效地学习系统的动态，因此具有作为预测完全观测不可用的系统的动态的廉价代理模型的潜力。

    Jun, 2023

  • TE-ESN：基于非均匀采样时间序列数据的时间编码回声状态网络预测

    提出了一种新的时间编码和模型结构，分别是 Time Encoding 机制和 Time Encoding Echo State Network (TE-ESN)，该结构能够处理不规则时间序列，同时可以将长短期记忆和串联处理融入到模型中，用于更准确的预测。在一个混沌系统和三个实际数据集的实验证明，TE-ESN 比所有基线的表现更好，并具有更好的遗传特性。

    May, 2021