自监督遮蔽数字高程模型编码用于低资源下游任务

Sep, 2023

自监督遮蔽数字高程模型编码用于低资源下游任务

Self-Supervised Masked Digital Elevation Models Encoding for Low-Resource Downstream Tasks

Priyam Mazumdar, Aiman Soliman, Volodymyr Kindratenko, Luigi Marini, Kenton McHenry

TL;DR利用自我监督学习方法，通过预训练的遮蔽自动编码器在 Digital Elevation Models 上提取建筑物和道路分割，有效利用有限的标注数据，为地表变化频繁的任务提供数据高效的学习器。

Abstract

The lack of quality labeled data is one of the main bottlenecks for training deep learning models. As the task increases in complexity, there is a higher penalty for overfitting and unstable learning. The typical

labeled data deep learning models self-supervised learning digital elevation models segmentation

发现论文，激发创造

处理医学图像深度学习中的小数据集：对卷积模型进行自监督预训练的 CT 扫描上对比对比度和遮码自编码器方法的评估

深度学习在医学影像中具有潜力，可以减少诊断错误的风险，减轻放射科医生的工作负荷并加速诊断。为了解决医学影像领域注释数据集不足的挑战，我们通过预先训练大型无注释图像数据集上的深度学习模型来实现自我监督学习，并提出了 SparK 预训练方法，它在小型数据集上表现更为稳健。

Aug, 2023

大规模掩码自编码减少合成孔径雷达数据的标签要求

利用遥感卫星监测和缓解人为气候变化的影响在关键的干预和政策决策方面有着重要作用。合成孔径雷达 (SAR) 提供了一种强大的光学数据替代方案，通过自监督预训练方法在预测植被覆盖和土地分类关键任务上减少了标记数据需求，从而大大推进了气候变化监测的发展。

Oct, 2023

表面遮罩自编码器：供大脑皮层成像数据的自监督

本研究通过使用自监督学习以及具有表面网格的视觉转换器架构，构建了模型以模拟皮层结构，进而实现对皮层表面的学习。通过在较大数据集上进行预训练，可以获得强大的表示能力，用于在数据少的情景下进行微调，而在皮层表型回归任务中，预训练可以带来 26% 的性能提升和 80% 的更快收敛速度。

Aug, 2023

基于地势信息的自主学习：利用有限注释增强 LiDAR 数据中的建筑物提取

使用地面高程模型和自我监督学习的方法，在建筑物分割地图中利用少量标签数据取得了较好的效果，对于在遥感领域中提取特征具有高效性和有效性。

Nov, 2023

点云自监督学习的掩蔽自编码器

本文提出一种新颖的掩码自编码点云自监督学习方案，通过划分输入点云为不规则点区块和高比例随机掩码，设计了一种基于 Transformer 的自编码器，该方案在预训练过程中高效并且在各种下游任务中具有很好的泛化能力，包括在少样本物体分类方面表现出色。

Mar, 2022

GeoMAE：自监督点云预训练的掩蔽几何目标预测

本文介绍了一种基于几何特征重建的点云表示学习框架，其中包括三个点云专有的自监督学习目标，即质心预测、表面法线估计和曲率预测。该框架采用自监督学习方法，创造有意义的任务，相互促进模型更好地推理点云的精细几何结构。通过训练后，该模型在物体检测、分割和多目标跟踪等任务上均实现了显著的表现提升。

May, 2023

标签掩码自编码器 (L-MAE)：一种纯 Transformer 方法来增强语义分割数据集

该论文提出了一种基于标签自动编码器的像素级别完整方法，通过融合策略实现图片修补，并且采用了图像补丁补充算法，取得了较好的语义分割结果。

Nov, 2022

GeoMask3D：3D 自监督点云学习的几何信息掩码选择

我们引入了一种自监督学习的创新方法，采用一种名为 GeoMask3D（GM3D）的几何信息驱动的蒙版选择策略，以提高蒙版自编码器（MAE）的效率。与传统的随机蒙版方法不同，我们的技术利用师生模型来专注于数据中的复杂区域，引导模型关注具有更高几何复杂性的区域。我们的方法还提供了一种基于特征级信息的完全到部分的特征级知识提取技术，以指导几何复杂性的预测。大量实验证实了我们方法在分类和少样本任务中相对于现有基准的卓越性能。

May, 2024

增强人工智能诊断：半监督深度学习自主病变掩模

本研究提出了一种无监督领域适应方法，用于自动生成乳腺超声成像中乳腺病变感兴趣区域（ROIs）的图像掩膜。我们的半监督学习方法利用在带有真实注释的小型公共乳腺超声数据集上训练的原始模型，针对领域适应任务进行迭代改进，生成私人未标记乳腺超声数据集的伪掩膜。该数据集的大小是公共数据集的两倍，并在图像采集角度和人群代表性方面具有相当的变异性，具有领域转移的挑战。与典型的领域对抗训练不同的是，我们使用下游分类结果作为基准，指导随后迭代中伪掩膜的更新。我们发现分类精度与生成的 ROIs 的完整性之间高度相关，促进了深度学习分类模型的解释性。初步研究结果证明了这种方法在简化 ROI 注释过程，从而增强乳腺病变的分类和定位以进行更精确和可解释的诊断方面的效果和可靠性。

Apr, 2024

自监督训练与监督训练在器官样本图像分割中的比较

数字显微镜中的自我监督学习对图像分割具有重要意义，采用了对预任务相似的无标签数据进行内在特征学习的方法，通过像素减少和图像模糊等增强技术，能够在相对较小和更大的数据集上优于传统的监督学习方法，得到更高的 F1 得分。

Nov, 2023