Oct, 2023

AdaptSSR：使用自适应自监督排名增强预训练用户模型

PDF
TL;DR通过利用数据增强技术，我们提出了一种新的预训练任务 —— 自适应自监督排序（Augmentation-Adaptive Self-Supervised Ranking，简称 AdaptSSR），来解决用户建模中的稀疏数据问题，该方法通过训练用户模型捕捉隐式和显式数据增强视图的相似性顺序，以及其他用户的视图顺序，进而改进了现有的用户建模方法，并在公共和工业数据集上的六个下游任务上进行了广泛实验证明了其有效性。
user modelingdata sparsitycontrastive learningpretext taskadaptssr
发现论文，激发创造
  • 模型增强提高对比学习效果

    本文提出一种新的自我监督学习（SSL）方法，通过构建序列视图间的对比学习来改进序列推荐问题的效果，为了解决数据稀疏性和噪音问题，提出了三种模型增强方法以构建视图对，实验表明模型增强对于增强 SSL 中的序列推荐任务效果是有效的。

    Mar, 2022

  • 具有鲁棒增强的对比自监督序列推荐

    本文研究对于顺序推荐问题，应用对比自监督学习来缓解数据稀疏和噪声等问题，并提出两种信息增强算子构建高质量视图进行对比学习，实验表明该方法可以提升模型性能和鲁棒性。

    Aug, 2021

  • 序列推荐的扩散增强

    DiffuASR 是一种基于扩散模型的顺序推荐算法，通过数据增强解决了数据稀疏性和长尾用户问题，并且能够直接训练顺序推荐模型，提高推荐效果。

    Sep, 2023

  • 无监督模型个性化保护隐私和可扩展性：一个开放性问题

    本文研究了无监督模型个性化任务，提出了一个新的 Dual User-Adaptation 框架，通过服务器端模型个性化和用户设备上的本地数据正则化，实现了可伸缩性和本地数据隐私保护的用户自适应模型。

    Mar, 2020

  • UserBERT：对比用户模型预训练

    本文提出了一种名为 UserBERT 的对比式用户模型预训练方法，将两种自监督任务应用于未标记的用户行为数据的用户模型预训练中，并使用中等难度的负采样框架以更好地进行对比式预训练。实验结果表明，UserBERT 能有效地改善各种用户模型。

    Sep, 2021

  • 自监督并非魔法：理解图像异常检测中的数据增强

    本文通过对三种不同模型以及 420 种不同任务的广泛实验，认真研究了数据增强在异常检测中的作用，得出自监督作为另一个模型超参数，需要根据真实异常特征仔细选择数据增强方式的结论，并且在缺乏对应的情况下，自监督甚至会降低准确性，从而为未来的研究提供了新的方向

    Aug, 2022

  • 自监督异常检测的端到端数据增强超参数调整

    本文介绍了基于自我调整自监督异常检测（ST-SSAD）的新方法，该方法通过数据扩充来调整超参数，从而在语义类异常和微妙的工业缺陷中实现了显著的性能提升。

    Jun, 2023

  • 自监督学习中的进化增强策略优化

    本文介绍了一种基于自主学习算法的预训练深度神经网络的方法，通过演化搜索方法在预处理任务的数据增益管道中编码数据增益算子的不同组合，优化所谓的‘拟预处理任务’，并测量了增强运算器对几个最先进的自监督学习算法性能的影响。研究结果表明，优化规则采用的数据增强器算子组合对自监督学习算法整体性能具有显着影响。

    Mar, 2023

  • ADAPT^2: 向终端用户自我监督重播的预训练传感模型适应

    提出了 ADAPT^2，一种用于个性化自我监督模型的少样本域适应框架，通过重新播放自我监督任务与用户特定数据进行用户端模型适应，以在少样本情况下将模型的预训练表示调整到用户。通过使用四个基准测试，ADAPT^2 的平均 F1 分数超过现有基准测试 8.8% p。在普通的手机上，ADAPT^2 内的装置计算开销分析表明，在不引人注目的延迟（三分钟内）内，ADAPT^2 完成了适应，并且仅占用 9.54% 的内存，从而证明了该方法的计算效率。

    Mar, 2024

  • 社会感知自我监督三训练推荐

    本文提出了一个集成 tri-training 的通用社交感知的自监督学习框架，将节点间的自我监督信号与其他节点的监督信号结合起来，以提高推荐系统性能。实验证明了该框架的有效性。

    Jun, 2021