SIGIRApr, 2021

利用预训练语言模型增强新闻推荐

PDF
TL;DR本文介绍了使用预训练语言模型进行个性化新闻推荐的方法，通过离线实验结果表明，该方法在英语和全球市场上都取得了显著的点击和页面查看量的提高，关键词包括个性化新闻推荐、文本建模、预训练语言模型、新闻建模和离线实验结果。
发现论文，激发创造
  • 使用预训练语言模型训练大规模新闻推荐器

    本文提出了一个名为 SpeedyFeed 的框架，该框架可以高效地训练基于预训练语言模型的新闻推荐器，并通过轻量级编码流水线实现高数据效率。经过实验证明，SpeedyFeed 可以实现超过 100 倍的训练加速，并展现出高度竞争性的推荐结果，可应用于各种基于内容推荐系统的场景。

    Feb, 2021

  • 利用预训练语言模型和微调增强电子商务推荐

    本文研究了将预训练语言模型应用于传统推荐算法中对电子商务数据集的影响，并将结果与基准模型进行了比较。通过领域特定的微调，将 PLMs 应用于传统推荐算法中可以提高模型的预测能力。这些结果凸显了在电子商务环境中利用文本信息的重要性，并提供了更好地应用 PLMs 的见解。

    Feb, 2023

  • 知识增强的预训练语言模型：综述

    本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

    Oct, 2021

  • 基于预训练语言模型的知识感知协同过滤用于个性化基于评论的评分预测

    为解决个性化基于评论的评分预测中的问题，提出了一种名为 KCF-PLM 的知识感知协同过滤与预训练语言模型的方法，将评论文本、方面、知识图和预训练语言模型结合起来，通过表示传播和用户 - 物品引导关注来模拟用户 - 物品交互，实验证明了 KCF-PLM 的有效性。

    Aug, 2023

  • NewsBERT: 挖掘预训练语言模型应用于智能新闻

    本文提出了一种名为 NewsBERT 的基于预训练语言模型的知识蒸馏方法，该方法利用知识蒸馏技术将大型 PLM 压缩为更小的模型，以提高新闻智能应用的性能，并且在两个真实世界的数据集上进行了广泛的实验。

    Feb, 2021

  • 新闻推荐的 Prompt 学习

    本文首次尝试运用 Prompt Learning 模型中的 cloze-style 任务，设计了 Prompt4NR 框架，包含了离散、连续和混合模板，并使用 Prompt Ensemble 方法，成功提升了新闻推荐效果，实验采用了 MIND 数据集进行验证。

    Apr, 2023

  • 大语言模型时代的推荐系统

    本论文对基于大型语言模型（LLMs）的推荐系统进行了全面综述，总结了 LLMs 在推荐系统中的应用方法，包括预训练、微调和提示，并讨论了未来方向。

    Jul, 2023

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • 文本生成的预训练语言模型：综述

    本文综述了预训练语言模型在文本生成方面的主要进展，包括模型结构、输入数据的适配以及重要的微调策略。对于文本生成研究者而言，该综述提供了相关研究的综合和指引。

    May, 2021

  • LLM 强化的生成式新闻推荐初探

    本文介绍一种基于大型语言模型的可生成新闻推荐框架 GENRE，通过预训练的语义知识，提供了一种灵活且统一的新闻推荐解决方案，可以用于个性化新闻推荐、用户画像和新闻摘要。各种流行的推荐模型的广泛实验证明了 GENRE 的有效性。

    May, 2023