Sep, 2021

UserBERT：对比用户模型预训练

PDF
TL;DR本文提出了一种名为 UserBERT 的对比式用户模型预训练方法，将两种自监督任务应用于未标记的用户行为数据的用户模型预训练中，并使用中等难度的负采样框架以更好地进行对比式预训练。实验结果表明，UserBERT 能有效地改善各种用户模型。
user modelinguser behavior datapre-trainingself-supervision tasksnegative sampling
发现论文，激发创造
  • 通过自我监督从未标注的用户行为中预训练用户模型的 PTUM

    本文提出了一种基于自监督学习的用户模型预训练方法，包括屏蔽行为预测和 $K$ 步预测两个任务，通过对大规模未标注用户行为数据进行预训练，并在下游任务中微调，获得了更好的效果。

    Oct, 2020

  • UserBERT: 通过自我监督建模用户的长期和短期偏好

    本研究提出了一种适用于电子商务用户数据的 BERT 模型的自监督预训练表示学习方法，将用户行为数据看作是句子中的单词，并采用统一结构同时学习长期、短期和用户属性。实验证明，该方法在三个不同的实际任务中都能带来显著的改进，尤其是与任务特定建模和多任务表示学习相比。

    Feb, 2022

  • 基于用户行为建模的新闻推荐预训练模型 (PUNR)

    本研究提出了一种基于无监督预训练方法的用户行为建模技术用于新闻推荐系统，包括用户行为掩码和用户行为生成两个任务，用于提高用户表示向量，在真实世界新闻基准测试中获得了显著的性能提高。

    Apr, 2023

  • TOD-BERT: 面向任务导向对话的预训练自然语言理解

    本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务 BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明 TOD-BERT 在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型 BERT，并且具有更强的少量数据学习能力。

    Apr, 2020

  • AdaptSSR：使用自适应自监督排名增强预训练用户模型

    通过利用数据增强技术，我们提出了一种新的预训练任务 —— 自适应自监督排序（Augmentation-Adaptive Self-Supervised Ranking，简称 AdaptSSR），来解决用户建模中的稀疏数据问题，该方法通过训练用户模型捕捉隐式和显式数据增强视图的相似性顺序，以及其他用户的视图顺序，进而改进了现有的用户建模方法，并在公共和工业数据集上的六个下游任务上进行了广泛实验证明了其有效性。

    Oct, 2023

  • 使用统一条件模型的自训练视觉语言 BERTs

    提出了一种自我训练的方法，用于从未标注的图像数据中训练 VL-BERT 模型，模型采用统一的有条件模型，能够执行零样本条件生成，通过该方法使用仅 300k 个未标注的额外数据，可以获得与训练了 300 万个图像数据的相似模型大小的模型相媲美或甚至更好的性能

    Jan, 2022

  • 利用行为一致性实现通用用户表示

    该研究提出一种基于自监督学习的用户建模网络 SUMN，该网络能够将行为数据编码成通用的用户表示形式，进而实现个性化服务推荐和用户画像预测。实验表明该方法优于现有的无监督表示方法，并且能够与监督方法竞争。

    Dec, 2020

  • COURIER：针对大规模图像特征预训练的对比用户意图重构

    为提高 CTR 预测效果，本文提出了一种针对推荐领域的图像预训练方法，通过用户点击历史来学习用户的视觉兴趣，同时采用对比训练方法以避免嵌入向量的折叠，实验表明该方法可以提高 0.46% 的离线 AUC 和 0.88% 的淘宝线上 GMV。

    Jun, 2023

  • MCP：基于多级对比采样的个性化聊天机器人自学习预训练

    该研究提出了一种自主学习框架 MCP，它使用对比采样方法从用户对话历史中获取更好的表征，包括回应对、序列扩增对和用户对，它有效提高了个性化聊天机器人生成用户概要和相应的表现。

    Oct, 2022

  • URLBERT: URL 分类的对比和对抗预训练模型

    通过在大量 URL 文本上进行预训练，URLBERT 模型能够在各类 URL 分类或检测任务中取得最先进的性能，并且能处理复杂任务要求，同时提供了多任务学习的探索。

    Feb, 2024