Apr, 2023

基于用户行为建模的新闻推荐预训练模型 (PUNR)

PDF
TL;DR本研究提出了一种基于无监督预训练方法的用户行为建模技术用于新闻推荐系统，包括用户行为掩码和用户行为生成两个任务，用于提高用户表示向量，在真实世界新闻基准测试中获得了显著的性能提高。
news recommendationuser representationunsupervised pre-traininguser behavior modelingperformance improvement
发现论文，激发创造
  • 通过自我监督从未标注的用户行为中预训练用户模型的 PTUM

    本文提出了一种基于自监督学习的用户模型预训练方法，包括屏蔽行为预测和 $K$ 步预测两个任务，通过对大规模未标注用户行为数据进行预训练，并在下游任务中微调，获得了更好的效果。

    Oct, 2020

  • UserBERT：对比用户模型预训练

    本文提出了一种名为 UserBERT 的对比式用户模型预训练方法，将两种自监督任务应用于未标记的用户行为数据的用户模型预训练中，并使用中等难度的负采样框架以更好地进行对比式预训练。实验结果表明，UserBERT 能有效地改善各种用户模型。

    Sep, 2021

  • 利用预训练语言模型增强新闻推荐

    本文介绍了使用预训练语言模型进行个性化新闻推荐的方法，通过离线实验结果表明，该方法在英语和全球市场上都取得了显著的点击和页面查看量的提高，关键词包括个性化新闻推荐、文本建模、预训练语言模型、新闻建模和离线实验结果。

    Apr, 2021

  • 新闻推荐的 Prompt 学习

    本文首次尝试运用 Prompt Learning 模型中的 cloze-style 任务，设计了 Prompt4NR 框架，包含了离散、连续和混合模板，并使用 Prompt Ensemble 方法，成功提升了新闻推荐效果，实验采用了 MIND 数据集进行验证。

    Apr, 2023

  • 利用行为一致性实现通用用户表示

    该研究提出一种基于自监督学习的用户建模网络 SUMN，该网络能够将行为数据编码成通用的用户表示形式，进而实现个性化服务推荐和用户画像预测。实验表明该方法优于现有的无监督表示方法，并且能够与监督方法竞争。

    Dec, 2020

  • UserBERT: 通过自我监督建模用户的长期和短期偏好

    本研究提出了一种适用于电子商务用户数据的 BERT 模型的自监督预训练表示学习方法，将用户行为数据看作是句子中的单词，并采用统一结构同时学习长期、短期和用户属性。实验证明，该方法在三个不同的实际任务中都能带来显著的改进，尤其是与任务特定建模和多任务表示学习相比。

    Feb, 2022

  • FeedRec: 利用各种用户反馈的新闻推荐

    为了提高新闻推荐的用户兴趣模型和模型训练的效果，我们提出了一种利用各种用户反馈的统一用户建模框架，并采用强到弱的注意力网络来提炼正负用户兴趣，以及采用多反馈模型训练框架来学习关注度感知的新闻推荐模型。

    Feb, 2021

  • 带有候选集感知用户建模的新闻推荐

    提出候选感知的用户建模方法，结合候选新闻进行模型训练，以提高个性化新闻推荐的效率。实验表明该方法有效提升了新闻推荐性能。

    Apr, 2022

  • UPRec: 面向用户的推荐系统预训练

    本文提出了一种名为 UPRec 的方法，通过构建自监督任务来利用用户属性和结构化社交图形，并将用户信息整合到预训练模型中，为用户提供更合适的推荐。

    Feb, 2021

  • 使用人类偏好进行语言模型预训练

    通过在预训练中引入人类的反馈，实现对于语言模型的生成文本的可控和可导向性，减少哪些偏离人类喜好的内容的生成，并且在标准的预训练和任务特定的微调中保持下游任务表现。推荐在训练开始时，就结合人类反馈，不再使用模仿学习的方式预训练语言模型。

    Feb, 2023