提出一种基于前馈和反馈连接的异质性尖峰神经元网络的监督学习方案，采用负收益的反馈固定随机连接，与在线和本地规则同时改变权重，在线学习线性，非线性和混沌动力学以及两段臂的动力学。

Feb, 2017

本文中提出基于神经振荡器非线性控制网络的二阶常微分方程模型时间离散化的递归神经网络，证明其对于隐藏状态的梯度具有精确的上限，解决了梯度问题，实验证明该递归神经网络在处理复杂的时序数据上具有稳定和准确的性能，达到了现有技术水平。

Oct, 2020

本文提供了能量基模型（EBMs）在逼近反向传播（BP）方面的综合理论，统一了预测编码、平衡传播和对比 Hebbian 学习等算法，从 EBMs 的自由相平衡这一简单而普遍的数学特性出发，在不同的能量函数下进行选择以得出一类逼近 BP 的算法。

May, 2022

本文介绍了一种基于线性样条基函数扩展动态可解释的分段线性循环神经网络（PLRNN）的方法，用于近似任意非线性动态系统。我们采用BPTT与教师强制以及快速可接受的变分推理两种框架对系统进行训练，并在各种动态系统基准测试上表明，这种方法具有更好的重建能力和更少的参数和尺寸。

Jul, 2022

通过本研究，我们证明预训练网络以实现本地稳定性在复杂结构的网络中是有效的，并提出了一种称为本地稳定条件（LSC）的理论，它能最小化对数据和参数分布的假设。我们的实验结果表明，通过预训练满足LSC的前馈和递归网络通常能够提高最终性能。这项研究为实现任意复杂度的网络的稳定性提供了一种方法，该方法可以在大型增强数据集的预训练之前作为附加步骤，也可以作为在分析上找到稳定的初始状态的替代方法。

Aug, 2023

通过将梯度表示为活动差异的方法进行生物合理性学习算法的搜索，提出了名为“双向传播”的完全本地学习算法，弥补了与反向传播的性能差距，无需分离的学习阶段或无穷小的盯人，在稳定性方面仍然与对称盯人无关。

Feb, 2024

我们分析了在有监督学习环境下使用梯度下降法训练的递归神经网络在动态系统中的表现，并证明了在没有大量过参数化的情况下，梯度下降法可以实现最优性。我们深入的非渐近分析 (i) 以序列长度 $T$、样本大小 $n$ 和环境维度 $d$ 为条件给出了网络大小 $m$ 和迭代复杂性 $ au$ 的精确界限，(ii) 显示了动态系统中长期依赖对收敛性和以激活函数的李普希茨连续性界限所刻画的网络宽度界限的显著影响，该界限依赖于激活函数的李普希茨连续性。值得注意的是，这个分析揭示了一个适当初始化的使用 $n$ 个样本进行训练的递归神经网络可以在网络大小 $m$ 的低次对数尺度下实现最优性。这与之前的工作形成鲜明对比，前者需要 $m$ 对 $n$ 的高阶多项式依赖来建立强正则条件。我们的结果基于对递归神经网络能够逼近和学习的动态系统类的明确描述，通过约束范数的传输映射，并且通过建立隐藏状态相对于可学习参数的局部平滑性属性来实现。

Feb, 2024

在输入较小且卷积核是幺正矩阵的条件下，我们考察了具有平滑sigmoid激活函数的单层卷积递归网络的动力学特性，其输出通过诸如立方根等压缩非线性函数与输入相关，且弛豫时间和信号传播的长度尺度都以幂律形式对输入敏感，当输入趋近于0时两者均发散。基本动力学机制是网络中的输入产生持续的活动，并进而控制附加输入或信号在空间上的传播抑或时间上的衰减。我们提供了当单个振荡强迫网络或背景值引发持续活动时的稳态的解析解，并导出了时间衰减和空间传播长度与背景值的关系。

May, 2024

通过对神经计算的进一步研究，我们证明了当使用平方欧几里得范数作为驱动局部学习的好度函数时，Forward-Forward Algorithm（FFA）等同于新赫布学习规则，并通过比较两个版本的FFA在模拟网络和脉冲神经网络中的训练行为，证实了生物学习规则与当前使用的训练算法之间的关联，并为将FFA的积极结果推广到赫布学习规则铺平了道路。同时，我们的结果暗示在FFA下训练的模拟网络可以直接应用于神经形态计算，从而实现能源消耗的降低和计算速度的增加。

Jun, 2024

我们提出了一种名为“动态网络架构”的新型智能系统架构，该架构依赖于稳定循环网络，并讨论其在视觉上的应用。我们的模型通过解释小区域网的较复杂特征为层次特征表示，与人工神经网络（ANNs）本质上不同。通过动态连接主义原则，我们的模型通过自组织机制，结合Hebbian可塑性和定期加强的抑制来稳定初级传入信号引起的神经激活。我们通过将线条片段组合成较长线条的实验，证明了DNA的可行性，即使在每个空间位置引入了高达59%的噪声，线条表示的构建仍然保持稳定。此外，我们展示了该模型能够从部分遮挡的输入中重建预期特征，并且可以推广到训练期间未观察到的模式。在本研究中，我们限制DNA在一个大脑皮层区域，并关注其内部机制，提供了关于一个独立区域的优势和不足的深入理解，并展望了未来工作如何通过组合多个区域来实现不变的物体识别。

Jul, 2024