Feb, 2021

使用预训练语言模型训练大规模新闻推荐器

PDF
TL;DR本文提出了一个名为 SpeedyFeed 的框架，该框架可以高效地训练基于预训练语言模型的新闻推荐器，并通过轻量级编码流水线实现高数据效率。经过实验证明，SpeedyFeed 可以实现超过 100 倍的训练加速，并展现出高度竞争性的推荐结果，可应用于各种基于内容推荐系统的场景。
pretrained language modelsnews recommendationspeedyfeedencoding pipelinedata efficiency
发现论文，激发创造
  • 利用预训练语言模型增强新闻推荐

    本文介绍了使用预训练语言模型进行个性化新闻推荐的方法，通过离线实验结果表明，该方法在英语和全球市场上都取得了显著的点击和页面查看量的提高，关键词包括个性化新闻推荐、文本建模、预训练语言模型、新闻建模和离线实验结果。

    Apr, 2021

  • 新闻推荐的 Prompt 学习

    本文首次尝试运用 Prompt Learning 模型中的 cloze-style 任务，设计了 Prompt4NR 框架，包含了离散、连续和混合模板，并使用 Prompt Ensemble 方法，成功提升了新闻推荐效果，实验采用了 MIND 数据集进行验证。

    Apr, 2023

  • GateFormer：使用输入门控变形器加速新闻推荐

    GateFormer 使用一种轻量级、端到端可学习的门控模块，在数据进入 transformer 之前对其进行过滤，从而提高了新闻推荐的效率和准确性，并且即使在对原始数据压缩 10 倍的情况下，仍能保持与 SOTA 方法相当的性能。

    Jan, 2022

  • NewsBERT: 挖掘预训练语言模型应用于智能新闻

    本文提出了一种名为 NewsBERT 的基于预训练语言模型的知识蒸馏方法，该方法利用知识蒸馏技术将大型 PLM 压缩为更小的模型，以提高新闻智能应用的性能，并且在两个真实世界的数据集上进行了广泛的实验。

    Feb, 2021

  • 利用预训练语言模型和微调增强电子商务推荐

    本文研究了将预训练语言模型应用于传统推荐算法中对电子商务数据集的影响，并将结果与基准模型进行了比较。通过领域特定的微调，将 PLMs 应用于传统推荐算法中可以提高模型的预测能力。这些结果凸显了在电子商务环境中利用文本信息的重要性，并提供了更好地应用 PLMs 的见解。

    Feb, 2023

  • 大语言模型时代的推荐系统

    本论文对基于大型语言模型（LLMs）的推荐系统进行了全面综述，总结了 LLMs 在推荐系统中的应用方法，包括预训练、微调和提示，并讨论了未来方向。

    Jul, 2023

  • 预训练语言模型压缩和加速综述

    该文章调查了预训练语言模型的压缩和加速方法，重点关注了模型在 NLP 领域推理阶段的表现，并提出为 NLP 的整个生命周期（包括数据准备、模型训练和推理）综合考虑计算、时间和碳排放的高效 NLP 研究。

    Feb, 2022

  • 自动内容分析的少样本学习：对乌克兰军火交付辩论中论点和主张的高效编码

    使用多语言 Transformer 模型和适配器扩展加上少样本学习方法的组合，成功地在沟通科学领域的实际案例中实现了通过自动检测声明和论据并确定其立场来改善包括复杂语义类别编码在大数据集上的自动内容分析，提供了与完全微调 PLMs 相媲美的有效性，同时在沟通研究中具有更好的特性。

    Dec, 2023

  • 基于预训练语言模型的知识感知协同过滤用于个性化基于评论的评分预测

    为解决个性化基于评论的评分预测中的问题，提出了一种名为 KCF-PLM 的知识感知协同过滤与预训练语言模型的方法，将评论文本、方面、知识图和预训练语言模型结合起来，通过表示传播和用户 - 物品引导关注来模拟用户 - 物品交互，实验证明了 KCF-PLM 的有效性。

    Aug, 2023

  • 通过主动遗忘预训练以提高语言可塑性

    本文提出使用主动遗忘机制作为预训练过程中的一种简单方法，以创建能够快速适应新语言的 PLMs。实验证明，与标准模型相比，在资源匮乏的情况下，使用遗忘机制的预先训练模型不仅在语言适应过程中表现出更快的收敛速度，而且在特别是对于与英语不同的语言来说表现更佳。

    Jul, 2023