本文提出了在 ICLR 的竞赛中获得第一名的硬件感知高效训练方法，该方法针对在不到 10 分钟内在图像分类任务中实现尽可能高的准确性的挑战。通过在一个小数据集上进行训练，并应用一系列技术来改进 ResNet-9 的泛化性能，我们的实验表明，ResNet-9 可以在不到 10 分钟的时间内只使用 CIFAR-10 数据集的 10% 子集达到 88% 的准确率。

Sep, 2023

通过构建新的测试集 ciFAIR 数据集，消除训练集和测试集中的重复图像，重新评估了流行的 CNN 架构的分类性能，发现相对于原始无重复数据的测试集，分类准确率下降了 9％到 14％。

Feb, 2019

通过优化方法，我们使用 ABCI 集群上的 2048 个 GPU，在 74.7 秒内实现了高达 1.73 百万张图像 / 秒的训练吞吐量和 75.08％的 top-1 验证准确性，解决了分布式深度学习中大规模集群高伸缩性和高准确性的挑战。

Mar, 2019

本文介绍了三个与系统相关的优化方案 —— 分布式批量归一化控制每个副本批量大小、输入管道优化维持模型吞吐量和二维鼓形约减加速梯度求和 —— 将这些优化相结合，在 1024 芯片 TPU v3 Pod 上以超过 105 万张 / 秒的训练吞吐量，在 2.2 分钟内将 ResNet-50 在 ImageNet 上训练到 76.3％的准确度，且没有精度降低。

Nov, 2018

提出了一个用于 GPU 集群的高度可扩展的深度学习训练系统，其中包括采用混合精度训练的方法、优化极大 mini-batch size 的方法、采用高度优化的全约约算法等，这些方法的使用将深度学习训练的吞吐量和精度取得了很好的平衡。

Jul, 2018

采用大批量数据并行同步 SGD 的 LARS 算法，我们在 2048 个 KNL 上完成了 90 个周期 ResNet-50 的 ImageNet 训练，仅需 20 分钟，同时达到 74.9% 的测试精度。

Sep, 2017

该研究旨在通过利用 HPC 架构，对最大的公开图像和视频数据集进行深度学习，提出了一种具有 150 亿参数的三层深度神经网络的训练方案，并取得了可喜的初步结果。

Feb, 2015

通过构建 CIFAR-10-Warehouse 测试平台来研究模型性能在不同未知环境下的问题，以提高对领域泛化和各种分布外环境中模型准确性预测的评估和理解。

Oct, 2023

通过创建一个真正未见过的测试集，测量 CIFAR-10 分类器的准确性，该研究发现现有的深度学习模型的准确性在面对轻微的数据分布自然变化时有较大降幅，说明现有准确性数据易受数据分布的影响。

Jun, 2018

本文通过对自然图像数据集 CIFAR10 的人工识别实验，与最新的深度神经网络进行了公平的比较，揭示了当前人工智能目标识别与人类识别能力之间的差距，同时提出了一种可用于评估和改进未来神经网络的新型 CIFAR10 分级子集。

Nov, 2018