Feb, 2022

UserBERT: 通过自我监督建模用户的长期和短期偏好

PDF
TL;DR本研究提出了一种适用于电子商务用户数据的 BERT 模型的自监督预训练表示学习方法，将用户行为数据看作是句子中的单词，并采用统一结构同时学习长期、短期和用户属性。实验证明，该方法在三个不同的实际任务中都能带来显著的改进，尤其是与任务特定建模和多任务表示学习相比。
e-commercebert modelself-supervised learninguser behavior datarepresentation learning
发现论文，激发创造
  • UserBERT：对比用户模型预训练

    本文提出了一种名为 UserBERT 的对比式用户模型预训练方法，将两种自监督任务应用于未标记的用户行为数据的用户模型预训练中，并使用中等难度的负采样框架以更好地进行对比式预训练。实验结果表明，UserBERT 能有效地改善各种用户模型。

    Sep, 2021

  • 通过自我监督从未标注的用户行为中预训练用户模型的 PTUM

    本文提出了一种基于自监督学习的用户模型预训练方法，包括屏蔽行为预测和 $K$ 步预测两个任务，通过对大规模未标注用户行为数据进行预训练，并在下游任务中微调，获得了更好的效果。

    Oct, 2020

  • 电子商务推荐系统的 One4all 用户表示

    本研究通过构建模型 ShopperBERT 对九个预训练任务训练得出的预训练嵌入进行广泛的下游任务如用户画像、定向和推荐等方面的有效应用，并与从零开始的学习策略进行了比较，结果表明前者的优势明显，尤其针对冷启动问题。

    May, 2021

  • 长序列用户行为对于点击率预测的建模实践

    本研究通过机器学习算法与在线服务系统的共同设计，提出了处理长序列用户行为数据的解决方案，能够有效地处理超过千级的长序列用户行为数据，提升了模型性能和系统效率。

    May, 2019

  • 利用行为一致性实现通用用户表示

    该研究提出一种基于自监督学习的用户建模网络 SUMN，该网络能够将行为数据编码成通用的用户表示形式，进而实现个性化服务推荐和用户画像预测。实验表明该方法优于现有的无监督表示方法，并且能够与监督方法竞争。

    Dec, 2020

  • 基于用户行为建模的新闻推荐预训练模型 (PUNR)

    本研究提出了一种基于无监督预训练方法的用户行为建模技术用于新闻推荐系统，包括用户行为掩码和用户行为生成两个任务，用于提高用户表示向量，在真实世界新闻基准测试中获得了显著的性能提高。

    Apr, 2023

  • 从多种电商任务中学习通用用户表示，深入了解你的用户

    该论文提出了一种名为 Deep User Perception Network（DUPN）的方法，通过采用 LSTM 和注意力机制来建模用户行为序列，学习不同任务通用的用户表示，以达到更加有效的个性化推荐，离线和在线实验结果表明 DUPN 在五个不同的任务上都表现出 better results，Taobao 上的大规模操作任务也得到了部署。

    May, 2018

  • 融合异构用户行为和社交影响的预测分析

    此研究旨在将异构的用户行为与社会影响结合起来进行行为预测，并使用包括 LSTM 变体、多面向关系建模机制、多面向关注机制、社会行为图的无监督学习及基于残差学习生成高阶交叉特征的方法进行探讨，定量和定性实验表明该模型的有效性。

    Jul, 2022

  • 面向个性化文本分类的增量用户嵌入建模

    本研究提出一种增量用户嵌入建模方法，通过使用转换编码器将用户的最近交互历史的嵌入动态集成到累积历史向量中，从而实现个性化用户表示的学习，并成功将其应用于 Reddit 数据集的个性化多类分类任务中，并在评论历史编码和任务建模方面相应地实现 9% 和 30% 的相对提升。

    Feb, 2022

  • E-BERT: 电商领域短语和产品知识增强语言模型

    提出了一个名为 E-BERT 的统一的预训练框架，旨在解决 BERT 在 E-commerce 相关任务中无法很好支持两种级别的领域知识的问题，该框架通过自适应混合掩蔽实现了短语级别知识的保留以及通过邻居产品重构实现了利用产品级别知识，研究表明 E-BERT 在评论问答、方面提取、方面情感分类和产品分类等四个下游任务中有着良好的表现。

    Sep, 2020