基于联合分类器学习的二值网络无监督表示学习

CVPROct, 2021

基于联合分类器学习的二值网络无监督表示学习

Unsupervised Representation Learning for Binary Networks by Joint Classifier Learning

Dahyun Kim, Jonghyun Choi

TL;DR本文提出一种二进制网络的自监督学习方法，使用移动目标网络和特征相似性损失、动态损失平衡和修改的多阶段训练来进一步提高准确度，称为 BURN。通过在七个数据集上进行五个下游任务的实证验证，我们发现 BURN 优于二进制网络的自监督对照组，有时胜过监督预训练。

Abstract

self-supervised learning is a promising unsupervised learning framework that has achieved success with large floating point networks. But such networks are not readily deployable to edge devices. To accelerate deployment of models with the benefit of →

self-supervised learning binary networks moving target network unsupervised representation learning downstream tasks

发现论文，激发创造

自监督分类网络

Self-Classifier 是一种新的自监督的端到端分类学习方法，可以同时学习标签和表示，不需要任何形式的预训练或负样例，它的交叉熵损失具有统一的先验，能够保证非退化解，并且在 ImageNet 无监督分类任务上取得了最新的性能。

Mar, 2021

自监督学习在 CNN 中的无标签数据利用

本文介绍了一种使用排序作为代理任务的自监督学习方法，以及一种有效的后向传播技术，使用该方法可以在标记数据和无标记数据上同时进行回归任务和排序任务的训练，结果表明使用自监督学习可以在图像质量评估（IQA）和人群计数方面实现更好的结果，并且利用无标记数据的信息量衡量方法可以使半监督学习方法的标记代价降低 50％。

Feb, 2019

S4L：自监督半监督学习

本研究探讨了图像分类器的半监督学习问题，提出了自监督半监督学习框架，并使用该框架派生出两种新的半监督图像分类方法。在 ILSVRC-2012 测试中，证明了该方法与现有半监督学习方法相比的有效性和新的最佳结果。

May, 2019

S2-BNN: 通过引导分布校准架起无监督真实数据与 1 比特神经网络之间的桥梁

本文提出了一种从实值网络指导学习二值神经网络的方法，通过最小化损失和提高准确性，可以在没有标签的情况下，将简单的对比学习基线提高 5.5~15％，并且在大规模图像分类基准测试 ImageNet 和下游数据集上取得了显著的改进。

Feb, 2021

自监督野外视觉特征预训练

本研究探讨了自监督学习是否能够在没有监督的情况下从随机图片上进行学习。通过 SEER 模型的研究表明，自监督学习在真实环境中的表现优于监督学习方法。

Mar, 2021

自主标记：同时聚类与表示学习

本文提出了一种通过最大化标签和输入数据索引之间的信息来解决标签聚类与表示学习相结合的问题的新方法。该方法可以有效地对数以百万计的输入图像和数以千计的标签进行自标注，以训练高度竞争的图像表示，具有优于现有模型的性能。

Nov, 2019

无监督的端到端训练：自定义的生物启发目标

通过引入一种自定义目标和生物启发稳态机制，结合全局和局部学习规则，该研究提出了一种端到端无监督学习方法，在边缘人工智能硬件上表现出了较高的准确率，并展示了该方法在半监督学习中的应用潜力。

Mar, 2024

自监督模型是持续学习者

在连续学习的场景中，无监督模型的效果会大幅降低。本文提出了一种将自监督损失函数转换为知识蒸馏机制的方法，并通过加入预测器网络实现 Continual self-supervised visual representation Learning，在不需要大量超参数调整的情况下显著提高了视觉表示的学习质量。

Dec, 2021

监督对比学习

本文介绍了一种基于对比学习的自我监督表征学习方法，并将其推广到全监督设置中。其中，相同类别的样本点在嵌入空间中被拉在一起，而来自不同类别的样本则被同时推开，以实现更好的分类性能。实现简单，最佳损失函数表现优于交叉熵。

Apr, 2020

URLOST: 无监督学习表示，不需要稳定性和拓扑学

无监督表示学习在处理高维数据模态时受限于数据特异性的稳定性和拓扑性，而生物智能系统却没有这样的限制。我们引入了一个新的框架，从缺乏稳定性和拓扑性的高维数据中进行学习，通过可学习的自组织层、密度调整的谱聚类和掩码自编码器的结合，我们的模型在生物视觉数据、神经记录以及基因表达数据上得到了有效的评估。与 SimCLR 和 MAE 等最先进的无监督学习方法相比，我们的模型在不依赖于稳定性和拓扑性的情况下能更好地学习到有意义的表示，也胜过了其他与这些因素无关的方法，从而在该领域开辟了新的基准，这项工作是迈向能够在不同高维数据模态之间泛化的无监督学习方法的一步。

Oct, 2023