Jun, 2023

COURIER：针对大规模图像特征预训练的对比用户意图重构

PDF
TL;DR为提高 CTR 预测效果，本文提出了一种针对推荐领域的图像预训练方法，通过用户点击历史来学习用户的视觉兴趣，同时采用对比训练方法以避免嵌入向量的折叠，实验表明该方法可以提高 0.46% 的离线 AUC 和 0.88% 的淘宝线上 GMV。
multi-media internetvisual characteristicsclick-through rate (ctr) predictionimage embeddingsrecommendation-aware image pre-training
发现论文，激发创造
  • 基于混合卷积神经网络和类别先验的用户图像行为建模注意力机制

    本文介绍了如何通过混合 CNN 技术和类别先验信息，在 CTR 预测中提高广告点击率，取得了显著的后验实验结果和在线实验结果。

    May, 2022

  • MISS: 多兴趣自监督学习框架用于点击率预测

    提出了一种基于 Multi-Interest Self-Supervised learning 的 CTR 预测框架，使用 CNN-based multi-interest extractors 提取不同兴趣表示中的自监督信号，并应用对比学习损失来提高特征表示学习。实验证明，该框架可以有效应用于现有 CTR 预测模型中并显著提高性能。

    Nov, 2021

  • 检索增强对比视觉 - 文本模型

    本论文提出了 RECO 模型，该模型通过外部记忆检索获取精细化知识，应用于现有视觉文本模型中，并在 Stanford Cars、CUB-2011 和 OVEN benchmark 等多项任务中取得了显著性能提升。

    Jun, 2023

  • 视觉表征学习的多模态对比训练

    通过同时利用内部数据属性和跨模态关联的语义信息，开发了一种学习视觉表示形式的方法，其中包括多种类型的对比损失，从而提高了学习到的视觉表示的质量。该方法在 COCO 数据集上进行训练，可以被用于图像分类、目标检测、实例分割等下游任务，并在 ImageNet 数据集上实现了 55.3% 的顶级验证精度。

    Apr, 2021

  • CL4CTR: 用于 CTR 预测的对比学习框架

    本文提出了一种基于自监督学习的 Click-Through Rate (CTR) 预测框架 (CL4CTR)，采用三种自监督学习信号作为特征表征学习的正则化项以提高 CTR 预测性能，并在四个数据集上实验证明其与各种代表性基线相比具有卓越的性能和兼容性。

    Dec, 2022

  • 基于可解释图像表示的视觉感知个性化推荐

    本文提出了一种新颖的个性化服装推荐方法，该方法使用可解释的图像特征学习过程来解释用户对特定视觉属性和风格的偏好，并在个性化排名任务中实现了最先进的性能。

    Jun, 2018

  • 对比交叉模态知识共享预训练用于视觉语言表示学习和检索

    本研究提出了一种名为 COOKIE 的对比交叉模态知识共享预训练方法，采用传统的双流结构并结合两个有效的模块实现文本 - 图像联合表征，旨在提高跨模态检索的计算效率和统计指标。

    Jul, 2022

  • 多交互注意力网络用于 CTR 预测中细粒度特征学习

    通过提出一种 Multi-Interactive Attention Network (MIAN) 方法，结合多种精细特征以及性别、年龄、职业等用户个人信息，从多个方面综合提取用户偏好，同时设计全局交互模块 (GIM) 学习高阶交互和平衡多个特征的影响，能够有效地预测用户点击率 (CTR)。

    Dec, 2020

  • 具有相关感知对比预训练的无监督密集检索

    本文提出了一种基于对中间训练模型的关联系统估计和自适应加权的相关性感知对比度学习方法，应用于无监督稠密 Retriever 模型，提高了其检索效果并且表现出很好的 few-shot 学习能力。

    Jun, 2023

  • 使用检索增强的知识，学习定制的视觉模型

    提出一种名为 REACT 的框架用于获取相关网络知识以构建目标领域的定制视觉模型。该框架通过检索与预训练数据集最相关的图像 - 文本对作为外部知识源，并仅训练新的模块化块，冻结所有原始权重，证明了其在零、少、全样本设置下显著提高了分类、检索、检测和分割任务的成功率。

    Jan, 2023