去中心化非独立同分布未标记数据的学习是否受自监督益处？

Oct, 2022

去中心化非独立同分布未标记数据的学习是否受自监督益处？

Does Learning from Decentralized Non-IID Unlabeled Data Benefit from Self Supervision?

Lirui Wang, Kaiqing Zhang, Yunzhu Li, Yonglong Tian, Russ Tedrake

TL;DR本研究以自监督学习为切入点，研究了在无标签数据的去中心化学习中，一系列对比学习算法的有效性。在实验结果中，该方法对去中心化数据集的异质性具有鲁棒性，并学习到了目标分类、检测和分割任务的有用表示，同时可以显著降低通信和参与数据源的比例。我们的研究为接受无标签数据的去中心化学习提供了积极的证据，并希望能够提供新的见解，证明和解释分散式自监督学习的有效性。

Abstract

decentralized learning has been advocated and widely deployed to make efficient use of distributed datasets, with an extensive focus on supervised learning (SL) problems. Unfortunately, the majority of real-world data are unlabeled and can be highly heterogeneous across sources. In thi

decentralized learning self-supervised learning contrastive visual representation learning unlabeled data heterogeneous datasets

发现论文，激发创造

自监督学习对数据集失衡更具鲁棒性

本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

Oct, 2021

低数据条件下的自监督视觉学习：一项比较评估

在相对有限 / 受约束的数据集中，通过比较实验评估了现代视觉自监督学习方法的有效性，发现针对特定领域的下游任务，在领域内的低数据量自监督预训练优于在通用数据集上进行大规模预训练，为该领域中各类自监督学习方法的性能提供了有价值的见解，并提出了直接的未来研究方向。

Apr, 2024

领域内自监督学习可提高遥感图像分类

本文研究了自监督学习在遥感图像分类中的应用，使用 ViT 模型和 iBOT 框架进行预训练可以提高模型预测性能。

Jul, 2023

去中心化数据协作无监督视觉表征学习

该研究提出了一种名为 FedU 的联邦无监督学习框架，可以在保护数据隐私的同时利用去中心化的未标记图像数据学习视觉表示，并针对数据的非独立同分布问题提出了有效方法，实验证明其优于其他方法。

Aug, 2021

连续自监督学习的挑战

本文研究了自我监督学习在连续流数据中的应用及其效率，提出了重放缓存与最小冗余样本的方法来增强学习。实验结果表明，这些方法可以有效提高表示学习的精度和鲁棒性，在非平稳的语义分布下也不容易出现灾难性遗忘。

Mar, 2022

我们能否摆脱自我监督学习中的强数据增强？

自我监督学习（SSL）作为应对深度神经网络（DNNs）中有限标记数据挑战的一种有前途的解决方案，具有可扩展性潜力。本研究全面探索了 SSL 在各种数据增强中的行为，揭示了它们在塑造 SSL 模型性能和学习机制方面的关键作用。利用这些见解，我们提出了一种集成先验知识的新学习方法，旨在减少对大量数据增强的需求，从而增强学习表示的有效性。尤其值得注意的是，我们的发现表明，富含先验知识的 SSL 模型表现出较小的纹理偏差，对快捷方式和增强技术的依赖减弱，并且对自然和对抗性破坏具有改进的鲁棒性。这些发现不仅为 SSL 研究指明了新的方向，而且为提高 DNN 性能、减轻对大量数据增强的要求，从而增强可扩展性和实际问题解决能力方面铺平了道路。

Apr, 2024

深度半监督学习算法的实际评估

通过实现多种常用的 SSL 技术并在一系列实验中进行测试，研究发现简单基线方法的表现通常被低估，而 SSL 方法对标记和未标记数据的敏感性不同，当未标记数据集包含类外示例时性能可能会显著下降，因此我们提供了一个公共代码重现平台以帮助实现 SSL 技术在实际应用中的可行性。

Apr, 2018

自监督何时能够提高小样本学习？

通过实验和分析，研究了自监督学习对于小样本学习的有效性，证明自监督学习可以降低元学习中相对误差率 4%-27%，对元学习器有更多的改进，尤其是在训练集更小或任务更具挑战性的情况下。但在元学习和自监督学习使用的图像分布不同时，自监督学习有可能会降低元学习器的表现。最后，作者提出一种方法，可以从大量的通用未标记图片中自动选择适合特定数据集的自监督学习样本，以进一步提高元学习器的性能。

Oct, 2019

有限标注医学图像分割的全局和局部特征的对比学习

本文介绍了一种利用自监督学习和对比学习实现的影像分割技术，该技术可以在大量没有标注数据的情况下学习，并且在三个磁共振成像数据集上验证了其有效性。

Jun, 2020

自监督对比学习的几何理解

本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

May, 2022