自监督学习用于协方差估计

Mar, 2024

Self-Supervised Learning for Covariance Estimation

Tzvi Diskin, Ami Wiesel

TL;DR使用深度学习方法对协方差进行估计，并提出了一种全局学习神经网络并将其应用于推理时间。利用最新的自监督基础模型的先进技术，通过简单地对不同样本进行掩蔽并学习预测它们的协方差，训练网络而无需任何标记。该架构基于流行的注意机制，其主要优点是在没有任何分布假设或正则化的情况下自动利用全局特征。它可以作为基础模型进行预训练，然后用于各种下游任务，例如雷达或高光谱图像中的自适应目标检测。

Abstract

We consider the use of deep learning for covariance estimation. We propose to globally learn a neural network that will then be applied lo

deep learning covariance estimation neural network self-supervised foundational models attention mechanism

发现论文，激发创造

邻域发现的无监督深度学习

本文提出了一种通用的无监督深度学习方法，通过发现样本邻域来推理和累计学习潜在的类别决策边界，进而进行分类，实验结果显示该方法在图像分类方面优于先前的无监督学习模型。

Apr, 2019

通过预测噪音实现无监督学习

本文介绍了一种通用的框架，用于在没有监督的情况下对深度网络进行端对端训练，通过固定一组目标表示并约束其深度特征对齐到这些表示来达到目的，同时采用了随机批量重新分配策略和可分离的平方损失函数来缓解标准无监督学习中的一些问题，并且在 ImageNet 和 Pascal VOC 上能够实现与最先进的无监督方法相媲美的表现。

Apr, 2017

深度神经网络自学目标定位

介绍了一种新方法，利用深度卷积神经网络对整张图片进行训练，以在不额外进行人工监督的情况下定位图像中的物体，并将该思想嵌入凝聚聚类技术中，产生自学习定位假设。实验证明，使用我们的方法自动生成的注释可用于训练物体探测器，产生接近于手动注释的边界框的识别结果。

Sep, 2014

学习结构高斯模型来近似深度集成

该论文提出使用稀疏结构多元高斯来逼近概率集成模型的输出，同时通过卷积神经网络实现，该方法显式地捕获了预测的不确定性和结构相关性，并且在单个网络中可以进行空间相关采样和测试时的任意空间限制，并在单目深度估计上得到可比较的数量表现。

Mar, 2022

从规范相关分析到自监督图神经网络

本文介绍了一种用于自监督图数据表示学习的概念简单而有效的模型，其通过数据增强生成输入图的两个视图，并通过受经典标准相关分析启发的创新特征级目标进行优化，旨在学习不变表示，并通过不同维度中的相关特性来防止退化解决方案，最终在七个公共图数据集上表现竞争力。

Jun, 2021

基于占据估计的汽车激光雷达自我监督

本论文提出一种基于自监督学习的点云深度感知模型预训练方法，通过表面重建预训练任务和基于潜在向量的感知头来抓取表面信息的语义片段并提高对象检测和场景语义分割性能。

Dec, 2022

物理感知神经网络的自监督学习 I：星系模型拟合

本文介绍了一种自我监督的混合网络，将传统的神经网络元素与解析或数值模型相结合，利用内部表示相当于物理模型的参数，进行无监督学习并进行物理参数的估计。同时应用于指数光轮廓的二维模型拟合学习。

Jul, 2019

自监督关注学习用于深度和自我运动估计

本文提出了两个改进方法，以提高深度估计和 ego-motion 估计的性能：使用 Lie group 属性强制实现图像之间的几何一致性，实现了一种关注机制，以便在存在图像重建损坏的情况下关注感兴趣的图像区域。在 KITTI 数据集上的实验结果表明，我们的方法改进了 state-of-the-art 的性能。

Apr, 2020

通过深度强化学习改进时空自监督

本研究提出了一种基于强化学习的采样策略，以适应网络状态，自适应采样新的排列，以更新卷积特征表示，进而在图像和视频分类及最近邻检索的标准基准测试中展现了具有竞争力的表现。

Jul, 2018

利用自我监督学习引导自主雷达启动

自主车辆的感知问题中，使用雷达来感知的能力使其引起了研究人员的兴趣，然而，由于昂贵和难以标注大规模雷达数据，训练雷达模型一直存在困难。为了解决这个瓶颈问题，我们提出了一种自我监督学习框架，利用大量无标签的雷达数据来预训练仅用于自动驾驶感知任务的雷达嵌入。该方法结合了雷达对雷达和雷达对视觉的对比损失，从配对的无标签雷达热图和相应的相机图像中学习出一种通用表示。在下游目标检测任务中应用时，我们证明了该自我监督框架能够提高现有监督基线方法的 mAP 准确度 5.8%。

Dec, 2023