对比预测编码的表示学习
通过对自然信号变异性更可预测的表征重新审视并改进对比性预测编码的无监督目标，可以实现数据高效的图像识别，其特征支持 ImageNet 数据集上最先进的线性分类准确性，同时可在非线性分类中使用 2-5 倍的标签，最终，这种无监督表征大大改善了 PASCAL VOC 数据集的对象检测的迁移学习。
May, 2019
本文提出了一种理论框架以分析对比学习的算法，并引入潜在类别假设，该框架使我们能够在平均分类任务上证明学习表示的性能。同时，该文还表明，学习表示可以降低下游任务的（标记）样本复杂度。
Feb, 2019
本文介绍了一种自适应时间差异版对比性预测编码，通过拼接不同时间序列数据的片段来减少学习未来事件预测所需的数据量，并将该方法应用于推导目标条件强化学习的离线策略算法。实验表明，与先前的强化学习方法相比，我们的方法在成功率方面取得了 2 倍的中值提高，能够更好地应对随机环境。在表格设置中，我们展示了我们的方法比后续表示方法更节约样本，比标准（蒙特卡洛）版本的对比性预测编码更节约样本数量约 20 倍和 1500 倍。
Oct, 2023
本论文使用对比学习的方法，以 Contrastive Predictive Coding 模型为基础，通过解释模型的对比损失作为异常得分，进行异常检测和分割，取得了令人满意的结果，适用于 MVTec-AD 数据集。
Jul, 2021
本文提出了一种新的自监督范式来处理点云序列理解问题，设计了两个任务：基于点云序列的对比预测和重建（CPR）来协同学习更全面的时空表示。通过组合传统的对比和重建范例，使得学习到的表示在全局判别和局部感知方面都更加优越。
May, 2023
提出了一种新的基于对比损失的无监督表示学习框架，并通过利用数据增广方案生成新样本来优化损失函数，实现混合样本的预测任务，以利用软目标进行学习。实验结果表明本方法在单变量和多变量时间序列上的表现优于其他表示学习方法，并展示了它对于临床时间序列的传递学习的好处。
Mar, 2022
本研究提出了一种名为 GCPC 的改进型 CPC 方法，可以注入先验知识并在 Tacotron2 上进行预训练，实验表明，相比于 CPC，该方法在德语，法语和英语等自动语音识别任务中均表现出更好的识别效果。
Oct, 2022
本文提出了一种新的时间序列表示学习方法，通过自监督任务的上下文、时间和转换一致性，结合不确定性加权方法，实现了多任务学习和跨领域传递学习，进而在时间序列分类、预测和异常检测等下游任务中取得了更好表现。
Mar, 2023
本文发现在连续学习的情境中，通过对比学习方法学习到的表示对抗遗忘更加鲁棒，基于该观察，我们提出了一种基于重复学习的算法，该算法着重于持续学习和维护可转移的表示，并在常见的基准图像分类数据集上进行了广泛实验验证，该方法取得了最新的最佳性能。
Jun, 2021