本文提出了一种有效的分片方法 ——“预训练和搜索”，使用预训练的神经成本模型作为高效的分片模拟器，并在此基础上使用在线搜索来识别最佳分片方案，实验表明，NeuroShard 可以在分片数据集上以多项改进表现，同时在实际应用中，可以取得 6.6% 的端到端训练吞吐量改进。

May, 2023

该研究提出了一种基于训练数据分布和模型特征的优化的 RecShard 方法，适用于嵌套的内存架构中对深度学习推荐模型 (Deep Learning Recommendation Models, DLRMs) 中的 EMB 内存表进行分区和布局，能够有效地提高训练吞吐量。

Jan, 2022

本文介绍一种基于 AutoML 的框架（AutoDim），该框架可以以数据驱动的方式自动为不同的特征字段选择维度，并在基准数据集上进行了广泛实验来验证其有效性。

Jun, 2020

利用 GShard 能够高效地扩展神经网络规模，支持多语言机器翻译，使得能够在 4 天内用 TPU v3 加速器训练 600 亿参数的模型，并且在从 100 种语言翻译成英语方面的性能要明显优于之前的工作。

Jun, 2020

本文提出了一种基于 AutoML 的深度学习推荐系统框架 (AutoEmb), 其中包含可以自动选择嵌入维度的动态嵌入层，实验结果表明该框架的有效性。

Feb, 2020

该研究提出一种自动切分权重计算的方法，避免了权重变量维度不可切分而导致的性能和可扩展性问题。研究表明，这种技术在典型的图片和语言模型上都能显著提高性能，并帮助我们在 Google 的 MLPerf 0.6 竞赛中获得了表现最好的结果。

Apr, 2020

使用强化学习驱动的框架 AutoAssign + 能够通过减轻冷启动问题来显著提升流媒体推荐系统的性能，同时在节约 20-30% 的内存使用方面具备实际有效性和效率。

Aug, 2023

推荐系统中的嵌入技术是关键，它将高维离散特征转化为低维连续向量以提升推荐性能，并涵盖协同过滤、自监督学习和基于图的技术，同时介绍了自动机器学习、哈希技术和量化技术，旨在改善推荐系统的性能和降低计算复杂性。

Oct, 2023

本文提出了 “聚类嵌入学习”（CEL）作为嵌入学习中应对冷启动、低频用户和项目，以及内存成本等问题的综合解决方案，能够自动且动态地通过自上而下的方法对用户和项目进行聚类，而聚类内的实体共同学习共享的嵌入向量，被验证在减小嵌入表大小、提高性能等方面具有显著优势。

Feb, 2023

本篇论文提出了一种名为 AutoSmart 的自动机器学习框架，解决了针对时间关联数据的数据挖掘以及模型优化所需的高成本问题，并在 KDD Cup 2019 中获得胜利。

Sep, 2021