本文介绍了一种新的超网络策略可以用来快速生成卷积神经网络，从而用于处理图像分割任务，在尽可能地保证准确性的前提下提高计算效率，并成功展现了各种域的价值。

Apr, 2023

该研究通过梯度流优化模型，研究宽神经网络中的特征学习和训练损失收敛问题，证明了一定条件下训练损失会以线性速率收敛于零，并展示了该模型的学习特性和推广能力。

Apr, 2022

本文介绍了受物理中粗粒化方法启发的相似算法如何适用于数据，并基于分层树张量网络，在输入维度和数据集大小的线性比例上进行缩放，使用无监督算法计算大多数层，然后仅针对 MNIST 和 fashion-MNIST 数据集的顶层进行监督分类的优化，得到了非常好的结果，并讨论了将监督权重的先验猜测与数据的无监督表示相混合，从而得到数量较少的特征，但依然能够获得良好性能。

Dec, 2017

该研究提出了一种新的均场框架用于超参数化深度神经网络的分析，利用概率分布和在连续极限下的功能来表示 DNN，并通过适当的重新参数化将其训练目标重新表述为凸优化问题，构建了一种称为神经特征流的非线性动力学来捕捉超参数化 DNN 的演化，证明了在均场区域中超参数化神经网络训练具有全局收敛性的首个全局收敛证明。

Jul, 2020

本研究解决在线学习中的参数调整问题，提出用于线性模型的算法，使其预测结果不受特征缩放的影响，并且在保持运行时性能的同时达到与使用最优学习率的 OGD 算法相同的遗憾界限。

Feb, 2019

基于玻尔兹曼机和伊辛模型，利用模型参数流的方式，研究深度神经网络特征提取的层次性以及与统计物理中重整化群的关系。通过分析训练后的玻尔兹曼机的权重矩阵性质，解释其向临界温度 $T_c=2.27$ 流动的原因以及学习提取自旋构型特征的方式。

Jan, 2018

本文提出了一种名为 NeuralScale 的算法，该算法使用了迭代剪枝方法控制神经网络的大小和参数，进而优化了固定神经网络的结构和配置，经过实验得出，NeuralScale 在参数约束的情况下，与默认配置相比，在 CIFAR10、CIFAR100 和 TinyImageNet 的数据集上分别增加了 3.04％，8.56％和 3.41％的准确性，取得了优异的表现。

Jun, 2020

这项工作提出了一种新的解析度无关的模型降阶策略，适用于多保真度应用。我们基于一种新型的神经网络层，即图向前传播网络，构建了我们的架构，将前馈网络的概念扩展到图结构化数据上，通过在神经网络的权重和网格的节点之间创建直接链接，提高了网络的可解释性。我们利用该方法在自参数化偏微分方程的自动编码器降维策略中训练和测试不同网格尺寸。通过误差边界，我们证明了该扩展在性能方面具有可证明的保证。该方法在三个具有挑战性的基准测试中展示了其能力，包括以平流为主的现象和高维参数空间的问题。与最先进的模型相比，该方法的结果更加轻量且高度灵活，在单一保真度和多保真度情境下展现出了卓越的泛化性能。

Jun, 2024

本文提出使用图神经网络在模仿学习框架下，近似求解最优潮流问题 (OPF)，并在 IEEE-30 和 IEEE-118 测试实例上进行了数值实验。

Oct, 2019

深入研究在神经网络训练中为什么会出现异常特征（Outlier Features），如何最小化它们的影响，并提出了预防措施，包括量化指标、架构选择、信号传播控制等。

May, 2024