Apr, 2024

基于部件感知能力的视觉自监督编码器统一成员推理方法

PDF
TL;DR在对视觉自监督模型进行成员推断的实践中，我们提出了一种名为 PartCrop 的统一成员推断方法，以剪裁图像中的对象部分来查询表征空间中的图像响应，以应对不同训练协议和结构的自监督模型的攻击，并且为了防御 PartCrop 攻击，我们评估了早停和差分隐私这两种常用方法，并提出了一种名为收缩裁剪尺度范围的个性化方法。
self-supervised learningmembership inferencevisual modelspartcropdefense experiments
发现论文，激发创造
  • 对比重构中的无监督部件发现

    本研究提出了一种非监督学习方法来发现和分割物体部分，通过像素级别的图像重建配合先前任务的代理目标，得到了一种更有意义的部分分解方法，优于现有的三个基准数据集，提供了一种一致的、可视化的物体语义部分表示。

    Nov, 2021

  • 无监督学习视觉表示的对比方法再探

    本文将需要自我学习来改进现有模型的数据集偏差性进行了深入研究，并成功地在不同类型数据集上改善了模型，同时介绍了一种具有多尺度裁剪、强数据增强和近邻策略的改进自监督学习方法，并通过 MoCo 模型在语义分割和视频实例分割任务中实现了优秀的效果。

    Jun, 2021

  • 分层组合自监督视觉表示学习

    本文提出了一种从原始视觉分组能力启动视觉表示学习的框架，操作化分组通过轮廓检测器，该检测器将图像分割成区域，并将这些区域合并成树形层次结构。实验表明，我们的方法朝着通用预训练方法的方向发展，其对下游任务有益，并可用于语义区域搜索和基于视频的对象实例跟踪。

    Dec, 2020

  • 自监督学习目标部分应用于语义分割

    本文介绍了以往自我监督的学习方式大多聚焦于图像级的表示学习，不能为无监督图像分割等需要空间多样的表示的任务带来改进，通过自我监督学习物体部件提出了新的解决途径，并结合目前趋势的 Vision Transformer，利用稠密聚类任务进行空间标记的微调，取得了在语义分割基准测试上超过 17%-3% 的最先进结果，且在完全无监督分割方面也具有重大潜力。

    Apr, 2022

  • 基于人口编码的卷积神经网络内部状态无监督学习对象语义部分

    本研究通过对 CNNs 的内部状态进行聚类，提出了一种无监督学习方法来发现物体的语义部件表达，即 Visual Concepts，并证明了其在物体部件检测和语义标注方面的有效性。

    Nov, 2015

  • 基于多重学习的卷积神经网络可解释部件图生长

    该研究提出了一种从预先训练的卷积神经网络中提取对象 - 部分概念的学习策略，通过挖掘预先训练的 CNN 中的潜在模式，并将它们与不同的语义部分关联来逐步在 CNN 上构建一个具有语义解释性的图形模型，以实现层次化的对象理解。

    Nov, 2016

  • 从未标注的图像中发现部件并进行数据增强的小样本学习

    本文介绍了一种基于元学习的方法，通过学习无标签图像的传递特征来进行 few-shot 学习，同时采用了基于部分的自监督表示学习和部分增强策略来缓解数据稀缺引起的过度拟合问题，并在 miniImageNet 和 tieredImageNet 的基准测试中表现出优异的性能。

    May, 2021

  • 提高所有尺度全景分割

    本研究提出使用基于作物的训练策略进行图像分割，解决了 GPU 内存消耗问题，同时通过引入新的注重剪裁平衡的边界框回归损失和数据采样增强策略以改善多尺度下的泛化，将该方法应用于 MVD、Indian Driving 和 Cityscapes 数 据集中，取得了 + 4.5％ PQ 和 + 5.2％ mAP 的最新成果。

    Dec, 2020

  • SCOPS: 自监督联合分割

    本文提出了自监督深度学习方法，通过多种损失函数使分割结果既有几何的聚焦性，又能在不同物体实例之间保持语义一致性，实现即将物体分割的任务。研究表明，与现有的自监督技术相比，该方法能够产生更具语义一致性的分段，并且紧贴物体边界。

    May, 2019

  • 多策略取景器网络的图像裁剪伪标记

    自动图像裁剪模型利用带有标签的数据和无标签的数据扩展训练集，通过学生模型根据由教师模型生成的伪标签来改进裁剪结果，并通过多策略取景网络（MPV-Net）提供多样的优化策略来提高伪标签的准确性和可靠性，从而在自动图像裁剪任务中取得了领先水平的结果。

    Jul, 2024