本文研究探讨了寻找更具有鲁棒性的体系结构对于减少深度学习模型在实际应用中对于输入数据微小扰动导致的错误决策的重要性。在评估鲁棒性方面，我们基于 NAS-Bench-201 进行神经网络架构搜索，对 6466 种不同的网络设计进行评估并引入数据库，发现对神经网络的拓扑结构进行优化可以显著提高其鲁棒性。

Jun, 2023

通过定义神经网络边界来解决复杂数据集分类所需大型网络架构的问题，并探讨了这种关系与数据集的几何复杂性的变化。此外，通过算法，确认了流行数据集可以用少于两个多面体高效地封装。

Feb, 2024

本研究提出了一种有利于评估不同卷积神经网络体系结构的系统性语言，该语言能够在训练前进行比较，本研究使用该语言在两个具体的基于计算机视觉的物理问题上，解决了事件顶点查找和强子多重性分类问题，同时提取了优化网络架构中的几个架构属性，使用机器学习模型对其进行了预测。

Jan, 2020

通过广泛实验，我们观察到 Transformer 模型表现出强的形状偏见，而 CNN 模型则表现出强的纹理偏见，并且发现纹理偏见的模型比形状偏见的模型在单目深度估计中表现更差，同时进行了各种背骨网络的密集消融研究，实验证明 CNN 和 Transformer 的内在局部性会引入纹理偏见和形状偏见。

Jan, 2023

本文研究神经网络架构对其所能近似的所有函数的级集所施加的拓扑限制，这种方法是独特的，因为它的限制是独立于广泛家族的激活函数的网络深度的。

Sep, 2018

利用大型神经成像数据集中的连接性图谱等手段，改善边缘端机器学习的效率和鲁棒性，并通过对果蝇和哺乳动物视脑回路连接等领域的分析，展示了多种潜在的应用脑科学领域洞见的方法。

May, 2023

最近的深度学习研究主要受制于使用基于越来越大数据集训练的大型模型。然而，对广泛数据集的需求增加引发了一些担忧。针对此问题，新的研究方向出现了，专注于创建合成数据以替代真实数据。在本研究中，我们调查了神经网络在合成数据集上训练时展示的形状偏差，作为合成数据质量的一个指标。具体而言，我们的发现有三个关键点：（1）形状偏差在不同的网络架构和监督类型之间存在差异，对其作为泛化的预测因素以及解释模型识别与人类能力差异的能力产生了怀疑。（2）仅依靠形状偏差来估计泛化是不可靠的，因为它与多样性和自然性纠缠在一起。（3）我们提出了一种将形状偏差解释为估计数据集中样本多样性的工具的新方法。我们的研究旨在阐明在深度学习中使用合成数据及其相关形状偏差的影响，解决有关泛化和数据集质量的担忧。

Nov, 2023

提出了一种新的算法，用于检索与待设计神经结构相似的已存在的神经结构，并引入分层对比学习实现准确定义，它在人工设计和合成神经结构的评价中表现出卓越性能，并建立了包含 12000 个真实世界网络结构及其嵌入的数据集。

Jul, 2023

本研究提出一种基于贝叶斯方法的神经网络架构参数估计方法，通过学习这些参数的具体分布来实现。研究表明，具有学习结构的正则网络在小数据集上可以更好地泛化，而完全随机化的网络可以更强健地处理参数初始化。与基于随机搜索的架构搜索不同，所提出的方法依赖于标准的神经变分学习，不需要对模型进行重新训练，从而最小化计算开销。

Jan, 2019

本文通过分类讨论搜索空间、搜索策略与性能估计策略三种维度，为神经架构自动搜索方法的存在研究提供了一个概述。

Aug, 2018