研究发现，虽然深度分类的建筑变体很多，但是最近的工作发现它们的训练过程存在相似之处，而神经网络不仅收敛到类似的表示，还表现出一种先学习哪些数据实例的经验性一致性。本文提出了一种度量特征分类协议关系的度量标准，并指出，该一致性现象可以映射到研究数据集的核心统计数据。作者经实验证实了这个假说，并应用于 CIFAR10、Pascal、ImageNet 和 KTH-TIPS2 数据集，发现这种一致性似乎与特定的体系结构、训练超参数或标签无关，但是按图像统计排序。

May, 2021

本文通过实证研究不同训练数据排序方法对神经机器翻译模型性能的影响，结果表明基于预训练模型的困惑度得分对训练数据进行预排序的方法表现最佳，在每轮训练中优于默认方法随机洗牌训练数据。

Sep, 2019

我们重新审视了 Torralba 和 Efros 在十年前建议的 “数据集分类” 实验，这个实验在如今大规模、多样化且希望具有更高的数据集的新时代以及更强大的神经网络架构中进行。令人惊讶的是，我们观察到现代神经网络在分类图像来自哪个数据集的问题上能够达到极高的准确率：例如，在 YFCC、CC 和 DataComp 数据集的三类分类问题的验证数据上，我们报告了 84.7% 的准确率。我们的进一步实验表明，这样的数据集分类器可以学习到具有泛化性和可转移性的语义特征，而这不能简单通过记忆来解释。我们希望我们的发现能够激发社区重新思考涉及数据集偏差和模型能力的问题。

Mar, 2024

本文介绍了一种设计合成数据集来评估神经网络结构能力的方法，并通过构建三个数据集评估了三个网络属性，并发现 U-Net 存在严重的非局部缺陷，提出使用非局部层来解决这个问题，同时提出使用不同的位置编码方法来改善深度估计任务，最后证明自我关注机制在解决更现实的深度估计任务中必不可少。

Apr, 2022

本文研究探讨了寻找更具有鲁棒性的体系结构对于减少深度学习模型在实际应用中对于输入数据微小扰动导致的错误决策的重要性。在评估鲁棒性方面，我们基于 NAS-Bench-201 进行神经网络架构搜索，对 6466 种不同的网络设计进行评估并引入数据库，发现对神经网络的拓扑结构进行优化可以显著提高其鲁棒性。

Jun, 2023

本文研究了使用纯随机标签培训的自然图像数据的深度神经网络 (DNNs)，通过分析卷积和全连接网络的主成分与数据的对齐作用，论证了在此设置中发生了什么。研究人员还研究了预先经过随机标记的图像数据进行预训练的神经网络以及随机和真实标签上进行微调的神经网络，发现此对准过程产生了正向迁移，特别是在 CIFAR10 和 ImageNet 上的 VGG16 和 ResNet18 等多种网络体系结构中。

Jun, 2020

经过深度神经网络的训练和微调，预训练的变换器可以学习到具有几乎完美准确度的在分布之外的同异关系，尤其针对缺乏纹理或颜色的抽象形状训练的模型表现最佳。

Oct, 2023

提出一种多方计算协议，旨在处理在具有实际数据时出现的不一致性，同时保护医疗数据的隐私和安全，其中采用了神经网络的三种方法进行了分析和比较。

Mar, 2023

人类和深度神经网络在图像分类领域进行了许多行为比较的最新研究。我们报告了如何在人类观察者和各种经典和最先进的深度神经网络中获取可迁移表示的详细调查结果。发现表明，就绝对分类性能而言，深度神经网络展示了与人类学习者相媲美甚至超过的数据效率水平，挑战了该领域的一些主流假设。然而，整个学习过程中的比较揭示了显著的表征差异：深度神经网络的学习过程具有明显的泛化滞后，而人类似乎立即获得可泛化的表示，无需预备性学习训练集特定信息，这些特定信息只在之后被转移到新数据上。

Feb, 2024

该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

Nov, 2016