EMNLPOct, 2020

通过自我监督从未标注的用户行为中预训练用户模型的 PTUM

PDF
TL;DR本文提出了一种基于自监督学习的用户模型预训练方法，包括屏蔽行为预测和 $K$ 步预测两个任务，通过对大规模未标注用户行为数据进行预训练，并在下游任务中微调，获得了更好的效果。
user modelingpre-trainingself-supervisionbehavior predictiontask-specific user representation
发现论文，激发创造
  • UserBERT：对比用户模型预训练

    本文提出了一种名为 UserBERT 的对比式用户模型预训练方法，将两种自监督任务应用于未标记的用户行为数据的用户模型预训练中，并使用中等难度的负采样框架以更好地进行对比式预训练。实验结果表明，UserBERT 能有效地改善各种用户模型。

    Sep, 2021

  • 基于用户行为建模的新闻推荐预训练模型 (PUNR)

    本研究提出了一种基于无监督预训练方法的用户行为建模技术用于新闻推荐系统，包括用户行为掩码和用户行为生成两个任务，用于提高用户表示向量，在真实世界新闻基准测试中获得了显著的性能提高。

    Apr, 2023

  • UserBERT: 通过自我监督建模用户的长期和短期偏好

    本研究提出了一种适用于电子商务用户数据的 BERT 模型的自监督预训练表示学习方法，将用户行为数据看作是句子中的单词，并采用统一结构同时学习长期、短期和用户属性。实验证明，该方法在三个不同的实际任务中都能带来显著的改进，尤其是与任务特定建模和多任务表示学习相比。

    Feb, 2022

  • 利用行为一致性实现通用用户表示

    该研究提出一种基于自监督学习的用户建模网络 SUMN，该网络能够将行为数据编码成通用的用户表示形式，进而实现个性化服务推荐和用户画像预测。实验表明该方法优于现有的无监督表示方法，并且能够与监督方法竞争。

    Dec, 2020

  • POUF: 面向提示的无监督微调大规模预训练模型

    本研究提出一种无监督的精调框架，用于快速和直接地向未标记的目标数据进行深度学习模型的预训练，并在图像分类、情感分析和自然语言推理任务中实现了持续的改进。

    Apr, 2023

  • 指导预训练：语言模型是受监督的多任务学习器

    该研究探索了通过提供指令进行预训练的受监督多任务预训练方法，通过使用开源模型构建的高效指令合成器生成指令 - 响应对，验证了指令预训练的有效性，并证明在从头开始的预训练和持续预训练中都能增强预训练模型的性能。

    Jun, 2024

  • Train No Evil: 面向任务导向的有选择掩码预训练

    本文提出了一种三阶段的预训练模型，通过加入任务引导的预训练阶段和选择性掩蔽来学习特定领域和任务模式，实验结果表明，该模型在情感分析任务中可以达到与更少计算成本相当甚至更好的性能。

    Apr, 2020

  • 针对无监督神经机器翻译，提升预训练语言模型的词汇能力

    本文介绍了一种基于子词嵌入的双语掩码语言模型预训练方法，应用于无监督神经机器翻译和双语词汇归纳任务中均取得了较好的性能表现。

    Mar, 2021

  • 无监督模型个性化保护隐私和可扩展性：一个开放性问题

    本文研究了无监督模型个性化任务，提出了一个新的 Dual User-Adaptation 框架，通过服务器端模型个性化和用户设备上的本地数据正则化，实现了可伸缩性和本地数据隐私保护的用户自适应模型。

    Mar, 2020

  • 自我偏置的自监督学习用于 ASR

    本文提出了通过微调模型来引导自监督方法学习特定任务的方法，并提出了 MPPT 的变体，可以用于低存储占用的流式模型。这些方法在 Librispeech 语料库上进行的自动语音识别实验中取得了显著的性能提高。

    Nov, 2022