Apr, 2023

HEAT: 面向 CPU 的协同过滤推荐高效易用的训练系统

PDF
TL;DR本文针对 Collaborative filtering 中的 state-of-the-art 方法 SimpleX 在 multi-core CPUs 表现欠佳的问题，提出了一种名为 HEAT 的高效 CF 训练系统，通过瓦片 embedding 矩阵、优化 SGD 方法和重复利用前向阶段结果的方式有效提升了计算性能，并在 5 个常用数据集上进行了评估。结果表明，在 x86 - 和 ARM - 系 CPU 上，HEAT 相对现有 CPU 解决方案提升了高达 65.3 倍的速度，在使用 NVIDIA V100 GPU 的云计算方案上，也取得了 4.8 倍的加速和 7.9 倍的成本降低。
collaborative filteringsimplexmulti-core cpustraining systemheat
发现论文，激发创造
  • SimpleX：协同过滤的简单而强大的基准模型

    通过对 11 个基准数据集进行广泛的实验，本研究体现了损失函数以及负采样比率的重要性， 并进一步将余弦对比损失函数用于一个简单的统一协同过滤模型 SimpleX 中， 结果表明，在 CCL 损失和大负采样比率下，SimpleX 可以大幅度超越大多数当前最先进的模型。

    Sep, 2021

  • 利用热门选择加速推荐系统训练

    通过研究推荐数据的使用方式和特征，本文提出了一种称为 FAE 框架的热嵌入感知数据布局，利用有限的 GPU 内存存储高访问嵌入，以减少 CPU 到 GPU 的数据传输并加速执行，从而将推荐模型的训练时间降低了 2.3 倍。

    Mar, 2021

  • 协同过滤的高效数据特定模型搜索

    本文提出了一种使用 AutoML 技术设计特定于数据的 CF 模型的新框架，其中关键是将 SOTA CF 方法统一为输入编码、嵌入函数、交互函数和预测函数的不相交阶段，以及使用随机搜索和性能预测器的易于使用、强大且高效的搜索策略。在五个真实数据集上的广泛实验表明，我们的方法可以在各种 CF 任务上始终优于 SOTA 方法，搜索到的 CF 模型还可以为探索更有效的方法提供启示。

    Jun, 2021

  • 面向推荐系统训练的异构加速管线

    Hotline 是一种数据感知和模型感知调度 pipeline，它通过实现一种动态的硬件加速器和馈送到 GPU 的方法，通过 GPU 加速减少训练时间，相比于现有的 CPU-GPU 混合模式，Hotline 平均训练时间降低了 3 倍，并且将整体训练吞吐量增加到每小时 35.7 个 epochs。

    Apr, 2022

  • 超图对比协作过滤

    提出了一种新的自我监督推荐框架 HCCF，它利用超图增强交叉视角对比学习体系结构共同捕捉本地和全局协作关系，结合超图结构编码和自我监督学习来增强推荐系统的表示质量，并通过三个基准数据集的广泛实验证明了其优越性和稀疏用户交互数据的鲁棒性。

    Apr, 2022

  • Turbo-CF: 矩阵分解免费图过滤用于快速推荐

    Turbo-CF 是一种基于图过滤和协同过滤的方法，不需要训练和矩阵分解，通过使用多项式图过滤器在不显式矩阵分解的情况下实现高效的推荐准确性，适用于快速推荐场景。

    Apr, 2024

  • 面向冷启动推荐的内容感知神经哈希

    本文提出了一种基于神经哈希的协作过滤方法（NeuHash-CF），它将自动编码器架构作为模型，并使用哈希码进行用户和物品的推荐，其中哈希码由内容获取，并在冷启动推荐中表现出最优性能。

    May, 2020

  • 主动式协同过滤

    本文讨论的是在线和交互式协作过滤中的查询问题，并提出了使用离线原型设计和计算期望信息价值的界来减小在线计算的开销，重点研究了多因素向量量化模型的案例。

    Oct, 2012

  • 神经协同过滤

    本篇论文提出了一个使用基于神经网络的协同过滤技术解决推荐系统难题的框架，称为 “NCF”，包括采用多层感知器来学习用户与物品交互功能，实验表明该框架可以显著提高推荐效果。

    Aug, 2017

  • SelfCF: 自监督协同过滤的简单框架

    本文提出了一种自监督的协同过滤框架 (SelfCF)，能够用于隐式反馈的推荐场景，该框架简化了 Siamese 网络并能够轻松应用于现有的基于深度学习的协同过滤模型，通过三种输出扰动技术来增强骨干网络生成的嵌入，尽管不区分背骨模型，但仍能够在四个数据集上实现比封装的监督对应物更好的推荐准确性，训练速度为 2×-4×，平均能提升 17.79％与自我监督框架 BUIR 相比。

    Jul, 2021