本文介绍自监督学习作为深度学习替代方案的优势及其在计算机视觉、自然语言处理和图学习中的应用，分类总结了现有的自监督学习方法，并进一步探讨其相关的理论分析工作，最后简要讨论了自监督学习的未来方向和开放性问题.

Jun, 2020

本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

Oct, 2020

本文通过对大量实证分析，分析了最近在自我监督表征学习的成功背后背后的最佳实践，发现对比实例学习在无监督学习中表现出色。

Dec, 2020

该篇论文从训练算法、预训练数据集和最终任务的角度分析了自监督表示学习的最成功和最流行的变体-对比式学习，探究了各种问题，包括自监督模型与监督模型的性能比较，用于评估的当前基准，以及预训练数据对最终任务性能的影响。

Mar, 2021

本篇综述论文讨论了自监督学习在视频领域的应用，主要归纳了四种不同的自监督学习方法，分别为预测任务、生成式学习、对比学习和跨模态协议，并讨论了现有方法的局限性和未来发展方向。

Jun, 2022

本研究提出了一种基于被标记的时间点过程的新事件生成模型，其通过条件生成器以及多维标记来捕捉点过程的分布，从而在多维事件空间中实现了出色的学习效率和样本生成性能的表现，并且通过在数值实验中对比其他最先进基线表明其性能优于其他方法。

May, 2023

自监督学习在生成的潜在变量模型和对比方法的框架下，提出了一种能够改善性能、实现任务无关性表示的方法。

Feb, 2024

自我监督学习通过使用生成模型生成语义一致的图像增强，丰富了学习强大视觉表示的方法，并显著提高了学习到的视觉表征的质量。

Mar, 2024

自我监督学习 (SSL) 是一种有效的方法，可以从大规模无标签数据中学习表示，对时间序列分析显示出有希望的结果。本文从对比和生成两个主要流派对比研究了时间序列中的自我监督表示学习。我们首先介绍了对比和生成 SSL 的基本框架，并讨论了如何获得指导模型优化的监督信号。然后，我们分别为每种类型实现了经典算法 (SimCLR vs. MAE)，并在公平的环境中进行了比较分析。我们的结果提供了每种方法的优势和劣势的见解，并为选择合适的 SSL 方法提供了实用的建议。我们还讨论了我们研究结果对更广泛的表示学习领域的影响，并提出了未来的研究方向。所有的代码和数据都在https://github.com/DL4mHealth/SSL_Comparison发布。

Mar, 2024

本研究解决了现代银行应用中事务序列的高质量表示问题，尤其是风险管理和个性化客户推广。论文提出了结合实例对比学习与生成学习的创新方法，以平衡本地与全局事务数据特性。实验表明，该方法在序列分类和下一个事件类型预测任务上表现优秀，具有显著的协同效应，为金融领域事件序列表示学习提供了有效框架。

Aug, 2024