本文介绍了一种基于储层计算的新方法，用于预测周期性时间序列，特别适用于生成音乐节奏等需要精确预测节奏的任务。我们的方法利用储层计算，并以预测人类节奏感知为最终目标。我们的网络准确地预测人类频率感知范围内的节奏信号。模型结构包含主要和中间神经元，用于捕捉和传递节奏信息。两个参数矩阵 c 和 k 调节储层的动态特性。我们提出了一个损失函数来调整训练后的 c，并引入了一种动态选择机制来调整 k，以便关注具有杰出贡献的区域。在多样化的测试集上的实验结果展示了准确的预测，并通过实时调整储层的 c 和 k 进一步提高了预测性能。比较评估结果显示其相对于传统模型具有更出色的性能。

May, 2024

使用最新的理论框架，测试了大量预测视觉皮层活动的深度神经网络，并展示了多种几何特性导致通过回归测量的低神经预测误差，从而证明了仔细分解表征度量可以解释模型如何捕捉神经活动，并指导神经活动的改进模型。

Sep, 2023

本文探讨了如何通过使用复合神经切向核的傅里叶特征网络来克服多层感知器和神经核回归中存在的高频率成分拟合所需的步骤数指数级增加的问题，以提高深度增强学习的效率和稳定性，并取得了令人瞩目的实验结果。

Jun, 2022

通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。

Jun, 2018

本文提出了一种 ResNet 风格的神经网络架构，编码非扩张（1-Lipschitz）算子，不同于普通的 ResNet 架构，该架构的 Lipschitz 常数不会随着网络深度的增加而呈指数级增长。进一步分析表明，权重的谱范数可以进一步约束，以确保网络是平均算子，使其成为 Plug-and-Play 算法中学习去噪器的自然候选物。通过一种新颖的自适应方法实现了谱范数约束，证明了即使有这些约束，也可以训练出性能良好的网络。提出的架构应用于对抗鲁棒图像分类问题，图像去噪以及反问题退化模糊。

Jun, 2023

机器学习中的光谱几何信息提取是一种基于传统特征值解算器的大量方法之一，而为了应用于在线大数据场景，研究人员提出了 Spectral Neural Network (SNN) 作为一种替代方法，本文探索了 SNN 的关键理论方面，包括神经元数量和光谱几何信息学习量之间的权衡以及 SNN 的优化过程。

Oct, 2023

使用自由概率的强大工具对深度残差网络（ResNets）的初始化进行重审，并建议按残差单元数量重新缩放经典随机初始化，以获得数量级更高的学习速度。

Jul, 2018

在本文中，我们提出使用极坐标谱来表征网络架构的复杂性，并根据序列的渐近分布对网络进行分类为低阶、稀疏或高阶。我们展示了这种分类方法在标准激活函数和 ReLU 网络的稀疏性质方面的不同特征，并通过数值模拟验证了我们的理论结果。

May, 2024

本文研究了神经常微分方程约束下计算精度随时间的方法，使用在动态系统中，通过数据驱动建模和机器学习技术用于技术系统的残差评价，可以高效地检测故障，提高系统稳定性

May, 2023

运用遍历理论引入机器学习的新型训练方式，强制实现系统中的动力学不变量，以提高在有限数据情况下对混沌动力学系统的长期预测能力，用回声状态网络体系结构进行演示，并以 Lorenz1996 混沌动力学系统和光谱拟地转模型为测试案例，取得了丰硕成果。

Apr, 2023