本研究探讨如何解决深度学习中因分类数目巨大而导致的内存、计算资源消耗问题，提出一种大规模训练系统，通过使用混合并行训练框架、KNN softmax、梯度稀疏化等新方法，大幅提高了训练速度与效率，并在实验中取得了高准确率。

Feb, 2021

该论文旨在使用基于树的 XMC 模型来改善语义产品搜索，其中推理时间复杂度对于产品数量为对数级。使用 n-gram 特征进行层次线性模型并通过重量修剪使本方法具有灵活性，提高了 Recall@100，并在搜索结果中添加了多样性。

Jun, 2021

通过引入线性草图的压缩辅助变量方法，可以在减小成本的情况下，实现与原算法相同的性能，这在大规模深度学习模型的训练中具有潜在的应用价值。

Feb, 2019

研究探讨了基于内存为中心的计算系统中处理器内存访问瓶颈和大量能量消耗的解决方案，考察 PIM 架构对机器学习算法训练的潜力，通过评估经典算法在 PIM 和传统 CPU、GPU 上的性能、准确度和扩展性对比，表现出更高效的处理机制和更好的加速效果。

Jul, 2022

本研究提出了一个深度哈希框架，用于人类涂鸦数据集的多重万级别检索，探索了前期文献中未被研究的涂鸦专有特征，并通过一个两支 CNN-RNN 的设计进行了独特人类涂鸦的特征嵌入，并开发出一个新的哈希丢失功能来适应涂鸦数据的时态和抽象特征，实现了相比静态图像的现有哈希模型更优异的表现。

Apr, 2018

本篇研究提出了一种基于动态类层次结构及自适应分配方案的新方法，对大规模分类问题进行高效、准确处理，并在多个大型基准测试中显著减少训练成本和内存需求，同时保持竞争性能。

Jan, 2018

本文介绍了 MAD-SKETCH 图半监督学习算法，通过使用 Count-min Sketch 数据结构，可以将每个节点上的标签分布紧凑存储，将空间复杂度从 O (m) 降低到 O (log m)，同时在时间复杂度上也获得类似的节省。实验结果表明，MAD-SKETCH 具有与现有最先进的图半监督算法类似的性能，并且在需要更好的空间和时间复杂度时表现出色，如在具有 100 万个标签的数据集中进行缩放。

Oct, 2013

本文提出一种简单的训练方法，通过从模仿数据分布的对抗模型中绘制负样本来大大增强梯度信号，以实现极端分类的高效训练，并在大规模数据集上实现了训练时间相对于几个竞争基线的数量级的减少。

Feb, 2020

本文提出了一种简单有效的大规模学习方案，结合学习算法（如 SVM 和逻辑回归）的 b 位 minwise 哈希可以自然地集成，大规模问题可以极其高效地解决，并与 Vowpal Wabbit 算法进行比较。

Jun, 2011

通过使用 O（1）MH 采样算法，结构性并行模型方案和有界异步数据并行方案，本文展示了只需要 8 台机器即可在网页级语料库上训练具有 1 亿个主题和 100 万个单词的主题模型（共计 1 万亿个参数），这是目前尚未用数千台机器实现的规模，并且随着集群规模的增加，仍然享有比的时间成本降低，这代表了一项重大的技术突破。

Dec, 2014