大数据时代中的小数据挑战：无监督和半监督方法的最新进展综述

Mar, 2019

大数据时代中的小数据挑战：无监督和半监督方法的最新进展综述

Small Data Challenges in Big Data Era: A Survey of Recent Progress on Unsupervised and Semi-Supervised Methods

Guo-Jun Qi, Jiebo Luo

TL;DR本文回顾了最近在无监督和半监督学习领域取得的进展，分类了一大类模型，并探讨了这些模型与探索新思想的相互作用以及它们在生成模型中的实现。文章还提出了将无监督预训练与有监督微调结合起来的未来方向，并展望了表示学习的未来方向。

Abstract

representation learning with small labeled data have emerged in many problems, since the success of deep neural networks often relies on the availability of a huge amount of labeled data that is expensive to coll

representation learning small labeled data unsupervised learning semi-supervised learning generative models

发现论文，激发创造

深度生成模型的半监督学习

利用迭代方法的变分技术，基于生成模型，研发半监督学习的新算法，解决现代数据分析中处理大规模非标记数据集挑战。深度生成模型与贝叶斯推理结合，灵活、高效、可拓展，为半监督学习提供了有力支持。

Jun, 2014

半监督和无监督深度视觉学习：一项综述

本文综述了针对可视化识别问题的先进深度学习算法在半监督学习和无监督学习范式下的研究进展，提出了统一的分类方法，并分析了它们在不同学习场景和计算机视觉任务中的设计原理及应用，最后探讨了 SSL 和 UL 中的新趋势和挑战。

Aug, 2022

深度半监督学习调研

本文针对深度半监督学习方法中的模型设计和无监督损失函数的透视，提供了关于基础和最新进展的全面调查，首先提出了将现有方法分类的深度半监督学习分类法，包括深度生成方法、一致性正则化方法、基于图的方法、伪标记方法和混合方法，然后全面回顾了 52 种代表性方法，并详细比较了这些方法在损失类型、贡献和架构差异方面的差异。除了过去几年的进展外，我们进一步讨论了一些现有方法的缺点，并提供了一些试探性的启发式解决方案来解决这些开放性问题。

Feb, 2021

自监督学习：生成或对比

本文介绍自监督学习作为深度学习替代方案的优势及其在计算机视觉、自然语言处理和图学习中的应用，分类总结了现有的自监督学习方法，并进一步探讨其相关的理论分析工作，最后简要讨论了自监督学习的未来方向和开放性问题.

Jun, 2020

深度半监督学习概述

本文综述了深度半监督学习的概念及其在深度神经网络上的应用，以期实现更高的数据效率。

Jun, 2020

无监督表示学习的最小变化

本文旨在讨论无监督学习中的表征学习，包括流形学习、扩散映射和自监督学习等技术，并探索在稠密区域内最小变化作为无监督表征学习的指导原则，这为自监督学习算法提供了更好的实践指南。

Nov, 2022

探索自监督正则化在监督学习和半监督学习中的应用

本文介绍了一种基于自监督正则化的半监督学习方法，其中利用了大量未标记数据来提高模型的性能，并且可以有效地应用于图像分类任务中，不需要任何补充的超参数进行调整。实验结果表明，该方法优于传统的监督和半监督学习方法。

Jun, 2019

无监督学习中解开表征的常见假设的挑战

本文分析了无监督学习分离表示的最新进展并挑战了一些常见假设，通过实验研究发现，不加监督训练的模型很难达到良好的分离效果，同时，增加分离度似乎不会降低学习的样本复杂度，未来的研究应该关注归纳偏置和 (隐式) 监督的作用，考虑在多个数据集上复现实验结果。

Nov, 2018

走向无监督表示学习：学习、评估和传递视觉表示

无监督表示学习、卷积自组织神经网络、评估协议、表示传输、图像到图像转换

Nov, 2023

针对分布偏移的图像分类半监督深度学习综述

本篇文章研究了半监督深度学习的最新方法，重点是针对标记和未标记数据集之间分布差异的情况设计的半监督深度学习模型，致力于解决传统深度学习流水线在实际使用环境下对数据的高需求，并希望鼓励社区应对该方面的挑战。

Mar, 2022