CVPRJun, 2022

SLIC: 基于迭代聚类的人类动作视频自监督学习

PDF
TL;DR通过使用迭代聚类对人体动作视频中的类似视频实例进行分组，以改进传统的爬虫视（intra-video）正样本采样，以使用聚类分配的伪标签进行样本较难的正样本和负样本的采用，SLIC 在人体动作视频中实现了优于国家视频检索基线的性能。
self-supervised contrastive learninghuman action videositerative clusteringpositive samplingend-to-end finetuning
发现论文，激发创造
  • 快速线性迭代聚类与主动搜索

    本研究提出一种新的方法来克服 SLIC 的局限性，该方法允许像素主动搜索其相应的分段，使分段之间自然地实现区域连贯性，并允许高收敛速率。在 Berkeley 分割基准下进行广泛评估，并证明该方法优于竞争方法。同时，在现有方法中时间成本最低。

    Dec, 2016

  • 迭代对比分类半监督时序动作分割

    本论文提出一种基于卷积网络和聚类的半监督学习方法，提高了时间动作分割的性能，其中包括无监督表示学习、带时间接近度限制和多分辨率相似性的特征聚类、以及迭代对比分类等方法。

    Dec, 2021

  • 无监督的时序动作定位：基于自主学习的渐进式学习

    提出了一种新颖的自适应递增学习模型，通过改进聚类置信度和可变速增量实例学习策略的设计，提高无监督时间动作定位的效果。

    Dec, 2023

  • SLICER: 使用低资源自监督预训练学习通用音频表示

    SLICER 是一种使用自监督学习技术的先前编码器的新方法，可以减少音频和语音分类需要大量标记数据的情况。它使用聚类和对比学习范例的组合来提高语音表示学习的效果，并进行实例和聚类层对比学习任务。此外，它还使用了一种新的 mel 频谱增强程序 k-mix，无需标签，并有助于音频的无监督表示学习。

    Nov, 2022

  • SLIP: 自监督与语言图像预训练的结合

    本文提出 SLIP，结合基于自监督的学习和 CLIP 预训练的多任务学习框架，通过在 ImageNet 和其他数据集上进行多个实验，发现 SLIP 表现出更好的性能，同时获得比基于自监督学习和语言监督学习更高的准确性提高。

    Dec, 2021

  • 基于语言的动作概念空间改进视频自监督学习

    使用自监督学习方法，对图像 CLIP 模型进行语言约束的调整，以适应视频领域，提高三个行动识别基准测试的零样本和线性探测性能。

    Jul, 2023

  • SLIC：一种利用结构和颜色的学习型图像编解码器

    通过基于结构和颜色的学习图像编解码器（SLIC），将压缩任务分割为亮度和色度，构建具有新颖的多尺度架构的深度学习模型，通过将不同阶段的特征结合以获取潜在表示。通过各种实验研究和分析，与其他图像编解码器进行比较，通过通道脉冲响应、潜在通道和各种消融研究的可视化，说明了该方法的优势。该模型在 MS-SSIM 和 CIEDE2000 度量标准中相对于其他先进参考编解码器获得了 7.5% 和 4.66% 的比特率增益。

    Jan, 2024

  • CLIP-S$^4$: 语言引导的自监督语义分割

    本文通过自监督学习及视觉 - 语言模型，提出了 CLIP-S4 方法，该方法可以在不需要人类注释和未知类信息的情况下进行各种语义分割任务，包括无监督、迁移学习和语言驱动分割，并在未知类别识别上表现出良好的性能优势。

    May, 2023

  • 来自未标记视频的最近邻内部对比学习

    该研究介绍了一种叫做 Inter-Intra Video Contrastive Learning (IIVCL) 的方法，利用来自全局空间的最近邻视频作为额外的正对。该方法提高了正关键图的多样性，并引入了一个更松散的相似性概念，扩展到了视频甚至跨类边界。在一系列视频任务上，性能得到了提高。

    Mar, 2023

  • SILC：用自我蒸馏提升视觉语言预训练

    基于对 CLIP 模型的改进，本研究提出了 SILC 方法，通过引入本地到全局对应学习来预训练模型，有效提升了计算机视觉领域中的分类、检索和分割等任务的性能，取得了零样本分类、少样本分类、图像与文本检索、无样本分割以及开放词汇分割等方面的最新技术成果。

    Oct, 2023