Mar, 2024

通过动态修剪加速矩阵分解以实现快速推荐

PDF
TL;DR提出了算法方法加速矩阵分解，通过观察矩阵特征的细粒度结构稀疏性，重新排列特征矩阵并修剪不显著的潜在因素，实现了乘法和更新过程中的动态剪枝操作，加速了推荐系统中矩阵分解的训练过程。
matrix factorizationcollaborative filteringrecommendation systemsacceleratelatent factors
发现论文，激发创造
  • 推荐系统的数据增强：使用最大间隔矩阵分解的半监督方法

    探讨了数据增强和细化最大边际矩阵分解的方面，提出了一种基于自训练的半监督方法，通过迭代使用高置信度的预测评级来增加训练数据和移除不确定的条目，从而改善基线方法的性能。

    Jun, 2023

  • 基于项目耦合的矩阵分解

    提出了基于属性关联度的相似度度量方法，将属性耦合关系融入矩阵分解方法来解决推荐系统中的冷启动和稀疏性等问题，并在两个开放数据集上实验验证模型优越性。

    Apr, 2014

  • 融合主题和社交潜在因素的协同过滤算法在隐式反馈中的应用

    本文以 user-generated content 为基础，提出了一种新的模型 MR3，将 collaborative filtering、social matrix factorization 和 topic matrix factorization 综合起来，加入了 implicit feedback 从而提高了其预测精度。

    Mar, 2018

  • 语言模型压缩的低秩剪枝和分解

    利用网络剪枝与矩阵分解相结合的方式，提出了一种有效的预训练语言模型的模型压缩方法，通过新的初始化技术和训练过程优化技巧，能够在保持性能的同时实现更加高效的模型压缩。

    Jun, 2023

  • 通过矩阵分解理解可训练稀疏编码

    本文研究了利用神经网络加速解决数据分析和机器学习中稀疏编码优化问题的原因，发现其加速与字典的 Gram 矩阵核的一个特定矩阵分解有关，且优化加速条件主要存在于迭代过程的开始阶段。

    Sep, 2016

  • 自然语言处理应用的排名和运行时感知压缩

    本文提出一种称为混合矩阵分解 (Hybrid Matrix Factorization) 的压缩技术，将低秩矩阵分解技术（LMF）的矩阵秩翻倍，采用智能混合结构，提高了准确性，并且在保持密集矩阵的同时，速度优于剪枝或结构矩阵压缩技术。在 5 个 NLP 基准测试中评估了此技术对多个任务（翻译，意图检测，语言建模）的影响，并表明，在类似准确性值和压缩因子的情况下，HMF 比剪枝快 2.32 倍以上，比 LMF 的准确性高 16.77%。

    Oct, 2020

  • 基于隐性反馈的在线推荐快速矩阵分解

    本次研究旨在提高矩阵因式分解（MF）在隐式反馈中的效率和效果，其中解决了现存工作中的两个问题：缺少反馈数据和扩展动态更新策略。我们基于项目的流行度提出了一个新颖的变量加权方法，并设计了一个基于 eALS 技术的学习算法，用于优化具有变量加权缺失数据的 MF 模型，并实现了一种增量更新策略。通过离线和在线的实验验证表明，我们的 eALS 方法相对于现有研究表现更佳。

    Aug, 2017

  • 压缩非负矩阵分解快速准确

    本研究提出了借助结构化随机压缩技术，分别应用于传统非负矩阵分解和分离式非负矩阵分解，以应对数据结构日益复杂、数据集日益庞大的情况，结果表明这种压缩技术比传统方法更快速高效。

    May, 2015

  • 在 GPU 上并行化大规模矩阵分解以提高速度和降低成本

    本论文介绍了 cuMF， 一种基于 CUDA 的矩阵分解库，利用 GPU 技术，采用内存优化的交替最小二乘法（ALS）方法解决非常大规模的 MF 问题，并利用各种技术在单个或多个 GPU 上最大化其性能。与分布式 CPU 解决方案相比，cuMF 仅使用具有 4 个 Nvidia GPU 卡的单个机器就能够快 6-10 倍，成本效益高达 33-100 倍。

    Mar, 2016

  • 快速差分隐私矩阵分解

    提出了一种简单的算法来实现可证明偏差私有性以及良好性能的差异性私人协作过滤。通过差分隐私和贝叶斯后验采样的新型连接方式，该算法可有效实现。同时，通过精细的系统设计和利用数据的幂律行为最大化 CPU 缓存带宽，我们可以在单个 PC 上以 8.5 百万每秒的速率生成 1024 维模型实现推荐。

    May, 2015