MUSCLE：通过互信息最大化并行无监督学习来增强半监督学习

Nov, 2020

MUSCLE：通过互信息最大化并行无监督学习来增强半监督学习

MUSCLE: Strengthening Semi-Supervised Learning Via Concurrent Unsupervised Learning Using Mutual Information Maximization

PDF

Hanchen Xie, Mohamed E. Hussein, Aram Galstyan, Wael Abd-Almageed

TL;DR本文提出了一种使用互信息结合半监督和无监督学习的混合学习方法 ——MUSCLE，能够有效提升在有标签数据减少或存在偏差时的分类性能，用于训练神经网络时可作为独立的训练方案并可以与其他学习方法相结合。通过实验证明，在 CIFAR-10、CIFAR-100 和 Mini-Imagenet 等基准数据集上，该混合模型的表现均超过现有的最佳模型，并在微调预训练模型时的分类性能提升也很明显。

Abstract

deep neural networks are powerful, massively parameterized machine learning models that have been shown to perform well in supervised learning tasks. However, very large amounts of labeled data are usually needed to train deep neural networks. Several →

deep neural networks semi-supervised learning mutual information hybrid learning performance improvement

发现论文，激发创造

MUSCLE：多任务自监督持续学习以预训练多个身体部位的 X 射线图像深度模型

通过使用自监督多任务持续预训练，研究了改进 X 射线图像分析表征学习的方法，并在多个医学图像任务中评估了其性能。

Oct, 2023

深度贝叶斯主动半监督学习

通过半监督深度学习与主动学习相结合的方法，使用尽可能少的标记样本，同时利用熵最小化对未标记样本进行训练，在 MNIST 数据集上仅使用 300 个标记样本实现 2.06% 的误差率和 1000 个标记样本实现 1.06% 的误差率。该方法可以获得高准确性的敏捷标注过程，同时节省标记成本。

Mar, 2018

半监督深度学习的互斥损失

本文介绍了一种基于深度卷积神经网络的半监督学习方法，通过引入无监督的正则化项来指导决策边界落在不同数据类别的低密度区域，从而提升使用未标记数据的物体识别性能。

Jun, 2016

带不确定性多视角对半监督 3D 学习

本文提出了一种基于多视角一致性的 3D 数据协同训练新框架，利用不同子网络的多样化特征来扩展协同训练，采用基于贝叶斯深度学习的不确定性加权标签融合机制来估计每个视图预测的可靠性，并通过自适应方法计算每个未标注样本的置信度，它在临床图像处理领域的效果得到了验证。

Nov, 2018

SemiMemes: 一种用于多模态 Memes 分析的半监督学习方法

本篇研究提出一种多模态半监督学习方法，可用于探测社交媒体上的恶意图片，该方法结合了自动编码器和分类任务，通过 Contrastive Language-Image Pre-training 实现。在两个数据集上，该方法表现优于其他多模态半监督学习和有监督学习的现有模型。

Mar, 2023

半监督语义匹配

本文提出了一种半监督学习框架，为无标签图像对增加循环一致性限制，在监督丢失和无监督训练中实现了最先进的语义匹配性能。

Jan, 2019

生物医学领域中基于紧凑型网络的图像分类半监督学习

本文研究如何利用半监督学习技术解决深度紧凑架构在生物医学图像分类中的问题。使用三个紧凑网络家族和两个半监督学习技术家族来比较不同方法在 10 个生物医学任务中的性能，最终结合数据蒸馏和 MixNet 及 ResNet-18 等取得最佳结果，并为此开发了一个简化紧凑模型构建的库。

May, 2022

使用无约束未标记数据扩大半监督学习规模

提出了一种名为 UnMixMatch 的半监督学习框架，该框架可以从无约束的未标记数据中学习有效表示，以提高性能。它由三个组件组成：具有硬增强的监督学习器提供强大的正则化，对照一致性正则化器从未标记数据中学习底层表示以及自监督损失用于增强从未标记数据中学习的表示。在 4 个常用数据集上进行了实验，在现有的半监督方法上表现出卓越的性能提高 4.79%。广泛的消融和敏感性研究表明了我们方法的每个提出组件的有效性和影响。

Jun, 2023

用梯度网络进行半监督学习

提出一种深度神经网络模型，通过反向传播同时最小化有监督和无监督代价函数的和，避免了逐层预训练的需要，结合 Ladder 网络和监督学习，实现半监督 MNIST 和 CIFAR-10 分类以及具有置换不变性的 MNIST 分类等诸多性能的最新结果。

Jul, 2015

半监督卷积神经网络用于人类活动识别

本文介绍两种基于卷积神经网络的半监督学习方法，用于加强原有的分类器对未标记的数据的识别，通过实验，表明我们的 CNN 在活动识别领域中的性能优于有监督学习方法和传统的半监督学习方法，Fm 得分甚至可以提高 18%。

Jan, 2018