通过开发基于普通微分方程的递归神经网络 (RNN) 方法来建模和量化滞后现象,这一研究突出了神经振荡器相对于传统 RNN 方法在捕捉磁性材料中复杂滞后模式方面的优势。
Aug, 2023
本文中提出基于神经振荡器非线性控制网络的二阶常微分方程模型时间离散化的递归神经网络,证明其对于隐藏状态的梯度具有精确的上限,解决了梯度问题,实验证明该递归神经网络在处理复杂的时序数据上具有稳定和准确的性能,达到了现有技术水平。
Oct, 2020
研究使用 Oscillatory Neural Networks 作为异联想记忆(HAM)的图像边缘检测方法,可以在边缘设备上节省能源,同时具有相对较高的速度和精度。
Feb, 2022
通过在深度操作网络中增加长期短期记忆网络,我们提出了一种名为 DON-LSTM 的新型架构,使网络具备了利用多分辨率数据和捕捉长序列中的时间依赖性的能力。在多个非线性系统的长时间演化建模任务中,我们测试了我们的方法,并展示了提出的多分辨率 DON-LSTM 相对于其原始对照模型,在泛化误差显著减小且需要更少高分辨率样本的优势。
Oct, 2023
通过对一个受 SET 卡牌游戏启发的简单任务上训练的循环神经网络(RNN)进行解读,本研究提出了一种新颖的动力学机制用于模式识别。我们将训练后的 RNN 解释为通过低维极限环中的相位转移以类似于有限状态自动机(FSA)中的状态转换来识别模式。我们通过手工创建一个简单的振荡模型来验证这一解释,该模型能够复现训练后的 RNN 的动力学。我们的发现不仅暗示了一种潜在的能够进行模式识别的动力学机制,还暗示了一种潜在的 FSA 的神经实现。最重要的是,这项工作为深度学习模型解释性的讨论做出了贡献。
提出了一种名为 Graph-Coupled Oscillator Networks(GraphCON)的新型用于图上深度学习的框架,该框架基于二阶常微分方程(ODEs)的离散化模型,模拟了通过底层图的邻接结构耦合的非线性控制和阻尼振荡器网络,并且解决了过度平滑问题和梯度消失问题。
神经网络在计算高振荡一维函数的积分方面具有高效的 FLOP 效率,在相同的计算预算或浮点操作数量下,神经网络比传统的求积方法更好地计算了这些振荡积分。我们的结果来自于神经网络学习了传统数值积分器无法发现的振荡积分中的潜在模式。
Apr, 2024
介绍了一种抽象的神经振荡器类,证明了神经振荡器是通用的,并可近似于任何时间变化函数之间的映射。这个证明为使用基于振荡器的 ML 系统提供了理论依据。
May, 2023
本研究探讨了深度神经网络(DNNs)在解决二阶 Fredholm 积分方程的振荡问题上的应用。我们发展了一种利用 DNNs 作为近似解的数值方法,通过设计适用于涉及 DNNs 的振荡积分的数值积分方法来解决该方程,所提出的多重层次深度学习(MGDL)模型有效地提取了振荡解的多尺度信息,并克服了标准 DNN 模型所面临的光谱偏差问题。
Jan, 2024
通过振荡驱动储层计算的反馈机制,本研究提出一种能够稳定网络活动且诱导复杂储层动力学的储层计算模型,即振荡驱动储层计算(ODRC)。ODRC 在运动定时和混沌时间序列预测任务中与传统储层计算方法相比能更准确地复现长期目标时间序列,并能从有限观测中学习到抽象生成规则。基于这种简单且计算廉价的实现所获得的显著改进,ODRC 可作为各种时间序列数据的实用模型,并可作为神经震荡及其小脑处理器的模型进行生物学探讨。
Jun, 2024