通过稀疏编码卷积神经网络在图像去噪中的相变
通过研究完全连接前馈神经网络和卷积神经网络中的有序到混沌转变，展示了如何将合适初始化的神经网络行为理解为吸收相变中的普适临界现象，并且可以成功应用有限尺度缩放，从而导致了信号传播动力学的半定量描述。
Jul, 2023
量子神经网络的训练动力学可以用广义的 Lotka-Volterra 方程描述，导致了一个动力学相变。当代价函数的目标值从上方穿过最小可达值到下方时，动力学从冻结核相位变为冻结误差相位，显示了量子神经正切核和总误差之间的二元性。在两个相位中，对于固定点的收敛是指数级的，而在临界点时则是多项式级的。我们通过将训练动力学的 Hessian 映射到虚时间中的 Hamiltonian，揭示了相变的本质是二阶的，指数 ν=1，表现出临界点的尺度不变性和闭合间隙。我们还通过在输出态趋近稳态时的限制 Haar 集合上提供了一个非微扰的解释相变的分析理论。这些理论发现在 IBM 量子设备上得到了实验验证。
Nov, 2023
在本文中，我们提出使用极坐标谱来表征网络架构的复杂性，并根据序列的渐近分布对网络进行分类为低阶、稀疏或高阶。我们展示了这种分类方法在标准激活函数和 ReLU 网络的稀疏性质方面的不同特征，并通过数值模拟验证了我们的理论结果。
May, 2024
光子处理器在能量成本高昂、人工智能计算需求剧增的背景下成为替代传统电子处理器的潜在选择，然而现有的光学神经网络在图像识别准确度上远远低于现代电子神经网络，本研究通过低维重参数模型引入了一种基于大核空间可变卷积神经网络，实现了基于纳米光学结构的光学神经网络在 CIFAR-10 数据集上达到 73.80% 的盲测分类准确度，首次超越现代数字神经网络 AlexNet（72.64%），让光学神经网络跻身于现代深度学习时代。
Aug, 2023
本文提出了一种基于物理约束的卷积神经网络（PC-CNN），用于从稀疏观测解推断具有空间时间非线性偏微分方程的高分辨率解，展示了对于一个高维的、有精细空间时间尺度的混沌湍流运动的结果，并且通过在 CNN 中约束先前的物理知识，可以推断出未解决的物理动态，无需在训练中使用高分辨率数据集，从而为实验数据和低分辨率模拟提供了超分辨率的机会。
Jun, 2023
提出了一种新的多层模型，ML-CSC，其信号被假定为从一系列 CSC 层中出现。CNN 的前向传递实际上是服务于 ML-CSC 模型的阈值追踪，将 CNN 与 ML-CSC 模型紧密联系起来，为 CNN 带来了新的视角，同时也提出了一个与去卷积网络相关的前向通道替代方案，具有更好的理论保证。
Jul, 2016
研究表明，扩散模型在捕捉图像等自然数据中的层次组合特征方面具有潜力，通过分析层次生成模型的反向扩散过程，发现在某个阈值时间后，高层次特征的重构概率突然下降，而低层次特征的重构则在整个扩散过程中平滑演化，这为扩散模型的时间与尺度关系提供了理论研究，并将生成模型提出作为建模组合数据特性的强大工具。
Feb, 2024
论文研究了稀疏估计算法、神经网络层和深度网络学习在估计准确性方面的应用，展示了深度网络学习可以在稀疏字典具有连贯列时恢复最小 L0 范数表示的潜力，并应用于三维场景表面法线的实际测量问题中。
May, 2016
在这篇论文中，我们提出了一种自动编码器架构（WLSC），其潜在表示通过二分图的拉普拉斯二次形式实现了隐式的、本地的谱聚类，生成了一组多样的人工感受野，与 V1 的灵长类动物数据具有相近的一致性，而且也展示了我们的正则化可以被解释为感受野对特定刺激类别的早期专门化，即我们为之后的皮质阶段引入了弱的聚类偏差，这是已知的功能性和空间分离（即拓扑）发生的地方。这些结果表明，在对 V1 及其之后的特征分离进行描述时，对感受野和放电率进行空间正则化至关重要。
Nov, 2023