WSDMFeb, 2024

动态稀疏学习：一种高效推荐的新范式

PDF
TL;DR在深度学习推荐系统领域，我们引入了一种新的学习范式，Dynamic Sparse Learning (DSL)，通过动态调整模型的稀疏性分布和权重的重要性，从而在训练和推理过程中实现端到端的高效率，显著减少了训练和推理成本，同时提供可比较的推荐性能。
deep learning-based recommendation systemscomputational demandsmodel compressionarchitecture searchdynamic sparse learning (dsl)
发现论文，激发创造
  • 深度强化学习的动态稀疏训练

    本文提出了一种新的动态稀疏训练方法用于加速深度强化学习的过程，通过在持续控制任务上实验证明，该方法可以显著提高深度强化学习的性能，降低参数数量和浮点运算数，并使训练步骤减少 40-50%。

    Jun, 2021

  • 动态稀疏训练下的持续学习：探索有效模型更新算法

    连续学习是指智能系统在尽可能少的计算开销下，从数据流中顺序获取和保留知识的能力。本研究通过对 Dynamic Sparse Training (DST) 的不同组成部分在连续学习范式下的影响进行了首次实证研究，以填补重要的研究空白并为连续学习中 DST 的最佳配置提供清晰的指导。通过在著名的 CIFAR100 和 miniImageNet 基准测试数据集上进行全面的研究，研究人员发现在低稀疏度水平下，Erdos-Renyi Kernel (ERK) 初始化能更有效地利用主干网络并实现任务增量的有效学习，而在高稀疏度水平下，均匀初始化展现出更可靠和稳健的性能。对于增长策略，性能取决于定义的初始化策略和稀疏度程度。最后，DST 组成部分内的适应性是提升连续学习效果的有希望的方法。

    Aug, 2023

  • 高效深度学习的动态稀疏图

    本文提出了一种通过动态和稀疏的图结构来执行深度神经网络（DNNs）进行压缩存储和加速执行的方法，该方法在训练和推断时均可应用，以优化深度神经网络的轻量化模型。实验证明该方法可以显著提供存储和操作的性能，并在各种基准测试中几乎无损失地维护准确性。

    Oct, 2018

  • 大规模物品推荐的自监督学习

    提出了一种用于大规模商品推荐的多任务自监督学习（SSL）框架，通过学习商品特征的潜在关系来解决标签稀疏性问题，并通过数据增强方法提高模型泛化性能，结果表明此框架可以显著提高推荐系统的商业指标，在模型得到很少监控的情况下特别有效。

    Jul, 2020

  • 更多探索的动态稀疏训练

    本文提出了基于动态稀疏训练的稀疏连接性搜索问题的开发和探索获取函数，旨在使稀疏训练达到更高的准确性和更高的稀疏度，实验结果表明，相较于目前最先进的稀疏训练方法，在多项深度学习任务中，本文所提出的方法额外具有更高的准确性。

    Nov, 2022

  • 无需训练的动态稀疏化：针对稀疏长模型的零训练微调

    基于 Dynamic Sparse No Training (DSnoT) 的训练无关的微调方法，能够有效地提高稀疏语言模型的性能，并开拓了将稀疏性应用于大型语言模型的潜力。

    Oct, 2023

  • 流式推荐系统中具有最小遗憾的动态嵌入尺寸搜索

    基于深度学习的推荐系统中，流媒体推荐系统的兴起带来了动态嵌入尺寸搜索的问题，为解决这一问题，本文提出了动态嵌入尺寸搜索（DESS）方法，该方法通过在非静态环境中减小嵌入尺寸选择的后悔度来实现更好的推荐性能。

    Aug, 2023

  • 动态模型剪枝与反馈

    提出一种新的模型压缩方法，通过允许稀疏模式的动态分配和合理使用反馈信号使得模型可以在单一训练过程中生成一个高性能的稀疏模型，且其性能超越了现有的所有修剪方案生成的模型，在 CIFAR-10 和 ImageNet 数据集上进行验证。

    Jun, 2020

  • 面向个性化推荐系统的深度学习推荐模型

    该论文提供了一个使用 PyTorch 和 Caffe2 框架实现的深度学习推荐模型，该模型使用模型并行处理嵌入层以缓解内存限制，并利用数据并行扩展计算。与现有模型相比，该模型在 Big Basin AI 平台上的表现得到了完善的特性和良好的性能，并可作为未来算法实验和系统设计的基准。

    May, 2019

  • 高维回归协同过滤

    本文采用高维回归问题的解析解取代计算开销大的 SLIM 方法，通过重新缩放处理 item-popularities 偏差，得到了稀疏解的性质，并且在三个公共数据集的实验中，相对于 SLIM 在准确度和训练时间上均有显著提高，同时在高度个性化推荐方面，还优于多种最新的非线性自动编码器等模型。

    Apr, 2019