本文提出使用神经架构搜索算法来寻找升级版的卷积神经网络，以用作结构化图像先验，从而进行各种反向图像恢复任务，通过大量实验结果验证了此方法的有效性。

Aug, 2020

该研究对未经训练的神经网络在磁共振成像（MRI）重建领域的应用进行了讨论，通过理解网络架构的频率特征，提出了两种与架构无关的改进方法，从而使得不合理设计的模型在性能上能够接近高性能模型。

Dec, 2023

本研究利用基于速率降低的另一原则提出了白盒架构，该架构明确计算网络的每个层次而无需反向传播，以解决当前深度学习体系结构遇到的遗忘问题，实验证明该方法能够构建一个新网络以模拟所有过去和新的数据类的联合训练，从而有效地解决了持续学习中遗忘问题。

Nov, 2020

研究了深度高斯过程、网络结构、协方差函数、dropout 和正则化策略对深度网络预测性能的影响。在标准网络结构中，网络表示容量会随层数增加而减少，通过提出一种新的网络结构来避免这一问题。同时，通过分析无穷多特征变换组合的深度协方差函数，阐明了 Gaussian processes 上 dropout 的影响。

Feb, 2014

本研究提出一种基于贝叶斯方法的神经网络架构参数估计方法，通过学习这些参数的具体分布来实现。研究表明，具有学习结构的正则网络在小数据集上可以更好地泛化，而完全随机化的网络可以更强健地处理参数初始化。与基于随机搜索的架构搜索不同，所提出的方法依赖于标准的神经变分学习，不需要对模型进行重新训练，从而最小化计算开销。

Jan, 2019

该论文探讨了在深度神经网络中为权重添加结构的好处，其中使用了随机 Gabor 过滤器设计第一层卷积神经网络的先验，以及估计每个隐藏特征与每个类之间关系的方式来为最终层权重添加先验。经验证明，这些结构化的权重先验可以为图像数据提供更有意义的功能先验。

Jul, 2020

本论文提出了一种基于连续优化的自动神经架构设计方法，使用编码器、预测器和解码器组成的方法在连续空间中进行梯度优化，通过将较好的嵌入解码成新的架构，最终实现在 CIFAR-10 和 PTB 数据集上高效发现神经网络，并与之前的方法相比实现了较好的效果。

Aug, 2018

本文提出一种基于贝叶斯网络结构学习的方法，用于无监督结构学习深度神经网络，通过生成图，构建其随机反向，然后构建一个判别图，证明生成图的潜变量之间的条件依赖关系在条件 “分类条件下” 丢失在判别图，从而实现通用网络深层（卷积和密集）的学习结构替代，在保持分类准确性的同时显著减少计算成本。

Jun, 2018

该研究通过对深度神经网络的训练动态、神经元和层级表示的广泛实证研究，尝试辨别深度学习系统中隐含的聚类能力、机制和超参数，评估它们对解释这些系统的泛化能力的相关性，从而阐述了先验知识在机器学习设计中的重要性。

Mar, 2022

通过对神经网络架构的深入研究，在初始化和学习率方面提出了新的原则，并验证了其对网络性能的改进，从而为当前架构设计的基准测试提供了新的方法。

Feb, 2024