使用自监督预训练的方法来改善在线广告系统中的点击率预测模型，通过训练一个辅助自编码器模型来丰富主要的点击率预测模型，提高相关性、稳定性和网络规模，最终成功部署到 Yahoo 原生广告系统。

Jan, 2024

本文提出了一种基于自监督学习的 Click-Through Rate (CTR) 预测框架 (CL4CTR)，采用三种自监督学习信号作为特征表征学习的正则化项以提高 CTR 预测性能，并在四个数据集上实验证明其与各种代表性基线相比具有卓越的性能和兼容性。

Dec, 2022

本文介绍了针对电子商务推荐系统中转化率估计的两种高效的估计方法，基于多任务学习框架解决了选择偏差、数据稀疏等问题，并通过实验表明其优于现有的 CVR 模型。

Oct, 2019

提出了一种用于顺序推荐的对比学习多任务模型 CL4SRec，在传统的下一个项目预测任务的基础上，从原始用户行为序列中提取更有意义的用户模式，并进一步有效地编码用户表示，通过构建自我监督信号和数据增强等手段，来解决数据稀疏性和参数优化问题，并在四个公共数据集上实现了业界领先的性能。

Oct, 2020

该论文提出了一种基于用户行为先后顺序的 CTR 建模方法，即评估用户广告点击数据的转化率，并使用全空间多任务模型 (ESMM) 进行直接建模，该方法可以同时解决采样偏差问题和数据稀疏性问题，并在淘宝推荐系统数据集上进行了实验证明其比竞争方法具有更好的性能。同时，文中还发布了包含点击和转化标签的序列依赖采样版本，成为首个公开的采样版本数据集。

Apr, 2018

本文提出了一个新颖的神经网络框架 ESDF，它从整个空间的角度模型化 CVR 预测，并结合了用户顺序行为模式和时间延迟因素，以同时解决数据稀疏性、样本选择偏差和延迟反馈等三大挑战。经过大量实验，ESDF 已经成为 CVR 预测领域统一解决这三大挑战的首次尝试。

Nov, 2020

我们提出了一种监督对比学习框架，通过学习每个时间步长的患者时间序列的嵌入表示来预测患者在随着观察到更多患者数据的过程中感兴趣结果的可能性变化。我们的方法在预测败血症患者的死亡率（MIMIC-III 数据集）和追踪认知障碍的进展（ADNI 数据集）方面优于现有的基准方法，并且在实验中始终能够正确恢复合成数据集的嵌入结构。

Dec, 2023

本文提出一种基于对比学习的框架，使用不同的增强 “视图” 将同一类别的输入聚类，远离来自不同类别的输入，将对比损失与标准的掩码语言建模（MLM）损失相结合，并应用于基于提示的少样本学习者，实验结果表明，我们的方法在 15 种不同的语言任务中表现优于现有的先进方法。

May, 2022

首次提出对于高度失衡的 EHR 数据和相关 COVID-19 数据分析，对比损失（CL）能够提高交叉熵损失（CEL）的性能，尤其是在机器学习（ML）模型需要大规模、平衡的训练数据以在医疗场景中具有鲁棒性、可泛化性和有效性的情况下，该方法可扩展并用于 EHR ML 工作。

Jan, 2021

本文提出了一种基于 transformer 架构的对比视觉转换器 (CVT) 框架，它设计了一种基于对比学习的强调学习策略，以实现在线学习的更好稳定性 - 可塑性权衡，并通过包含可学习的聚焦点来缓解遗忘。实验结果表明，CVT 方法在在线持续学习基准测试中达到最先进的性能，并有效缓解了灾难性的遗忘。

Jul, 2022