本文提出了一种快速局部敏感哈希技术以近似实际点积，使我们能够将训练和推理扩展到数百万个输出类，并在三个不同的大规模识别任务上验证了我们的方法，表明与基线方法相比，我们的方法能以更快的速度（以步骤 / 总时间为单位）训练大规模模型。

Dec, 2014

本研究探讨如何解决深度学习中因分类数目巨大而导致的内存、计算资源消耗问题，提出一种大规模训练系统，通过使用混合并行训练框架、KNN softmax、梯度稀疏化等新方法，大幅提高了训练速度与效率，并在实验中取得了高准确率。

Feb, 2021

本文提出了利用排名约束估计与低维标签嵌入之间的对应关系来发现一种新的、快速的标签嵌入算法，并展示了其在多类问题和多标签问题中的应用，最终实现了指数级的运行时间优化，其中在两个大规模公共数据集上的结果优于现有技术。

Mar, 2015

本文探讨使用 GPU 进行推荐模型训练时所遇到的种种挑战，如模型架构参数、存储过大的嵌入表等造成的 GPU 性能与效率问题，同时介绍了新型 GPU 服务器设计 Zion 所带来的优势。

Nov, 2020

本文中，我们提出了一种基于稀疏连接的神经网络模型，使用自适应稀疏连接和纯化神经元的方法进行训练，并将其应用于 MLP 模型上，测试结果表明，该方法在 15 个数据集上表现出了竞争性的分类和泛化性能。

Jun, 2019

通过实验证明了通过在卷积层之间停用连接的方法将采用通道稀疏连接结构的 2D 卷积技术与许多网络体系结构一起使用，可以在保持准确性的同时实现明显的运行时间和内存储存器的节省。

Feb, 2017

本文提出了新的训练方法，通过降低分割模型输出的空间复杂度和近似地计算误差概率来扩展语义分割模型以适应更多的语义类别，这个方法适用于任何现有的语义分割模型，而不会增加内存开销，实验结果表明，这种方法可以在仅使用一块 GPU 的情况下实现 Cityscapes、Pascal VOC、ADE20k、COCO-Stuff10k 数据集的类别扩展，而且可以将 mIoU 值提高三倍以上。

Dec, 2020

本研究介绍了一种使用稀疏计算的神经网络训练和构建方法，通过引入额外的门变量来执行参数选择，并在小型和大型网络上进行实验验证，证明了我们的方法在稀疏神经网络模型的压缩方面取得了最先进的结果。

Nov, 2016

本文提出一种基于稀疏矩阵的计算优化方法，通过对深度学习应用中的稀疏矩阵进行深入研究，开发出可用于稀疏矩阵与密集矩阵乘法和采样密集 - 密集矩阵乘法的高性能 GPU 核，实现了神经网络模型的加速和内存节省。

Jun, 2020

现代人工神经网络的过多计算需求为可以运行它们的机器带来了限制。我们提出一种高效的、始终稀疏训练算法，具有一流的大规模和更稀疏模型的线性时间复杂度，并通过引导随机探索算法改善了先前稀疏训练方法的准确性。

Jan, 2024