ACLSep, 2022

基于领域感知的自监督预训练，用于标签少的模因分析

PDF
TL;DR我们提出了两种自监督预训练方法，即 Ext-PIE-Net 和 MM-SimCLR，通过采用现成的多模态仇恨言论数据和多个专门的预设任务实现了自监督学习，为模因分析提供了必要的复杂多模态表示学习，通过标签有效训练，在所有三个任务中性能优于基线并证实了我们的方法的泛化性。
self-supervised learningmulti-modal representationpre-trainingmeme analysisspecialized pretext tasks
发现论文，激发创造
  • SemiMemes: 一种用于多模态 Memes 分析的半监督学习方法

    本篇研究提出一种多模态半监督学习方法，可用于探测社交媒体上的恶意图片，该方法结合了自动编码器和分类任务，通过 Contrastive Language-Image Pre-training 实现。在两个数据集上，该方法表现优于其他多模态半监督学习和有监督学习的现有模型。

    Mar, 2023

  • 医学图像分析的多模态自监督学习

    该论文提出了一种利用多个成像模式的新型自监督方法，设计了一个多模式拼图任务以促进多种图像模式的特征表征，提出了一种利用跨模态生成技术进行多模态数据增强的方法，实验表明该方法能够提高数据效率和语义表征，广泛应用于四种不同的下游任务，并取得了领先的成果。

    Dec, 2019

  • 研究自监督方法以实现标签高效学习

    视觉变换器结合自监督学习，在分类、分割和检测等多个下游任务上能够扩展到大规模数据集。我们通过比较预训练模型，在不同自监督预训练任务（对比学习、聚类和掩模图片建模）的低样本学习能力以及应对崩溃的方法（居中、ME-MAX 和 Sinkhorn）对这些下游任务的影响进行系统级研究。基于我们的详细分析，我们提出了一个框架，将掩模图片建模和聚类作为预训练任务，这个框架在包括多类分类、多标签分类和语义分割在内的所有低样本下游任务中表现更好。此外，当在完整规模的数据集上测试模型时，我们在多类分类、多标签分类和语义分割中展示了性能提升。

    Jun, 2024

  • 利用外部标签和领域内预训练增强多模态 Transformer：恶意模因挑战的获胜解决方案

    本报告总结了 2020 年针对仇恨表情包检测挑战赛首名解决方案，利用先进的视觉语言转换器来解决这个问题，并指出了目前方法的不足和改进方向。

    Dec, 2020

  • 多视图自监督方法在音乐标记中的实验比较

    在音乐领域应用自监督学习，通过研究和比较新的自监督方法，证明对比学习相对于其他自监督预训练方法在有限数据下游任务中始终能够取得更好的性能。

    Apr, 2024

  • 启发式视觉预训练的自监督和有监督多任务学习

    提出了一个结合自监督学习和监督学习的多任务预训练框架，用于识别多种视觉任务，结果表明该模型能够达到或超过多个视觉任务的最先进结果的能力。

    Oct, 2023

  • 自监督语义分割调整的混合匹配

    该研究提出了一种自我监督学习方法，通过引入 “混合和匹配” 步骤来提高语义图像分割任务的性能，该方法无需更多的数据和标签，并且在很多方面与有监督的预训练方法可以媲美甚至超过其性能。

    Dec, 2017

  • 无需对齐视频和文本数据的可伸缩精准的自监督多模态表征学习

    本文介绍了利用图像字幕预训练高质量视频模型的方法，并证明了以图像字幕代替自动语音识别字幕的预训练方法更有效，使用图像和视频一起进行预训练比单独使用一种模式的预训练能显著提高网络性能，并且这种方法可以与现有的预训练或数据挖掘方法相辅相成。

    Apr, 2023

  • 自我监督多任务学习的多模态情感分析中学习特定于感知模式的表示

    本文设计了一个基于自监督学习策略的标签生成模块，通过联合训练多模态和单模态任务来分别学习一致性和差异，采用权重调整策略来平衡不同子任务的学习进度，验证了自动生成的单模态监督标签的可靠性和稳定性，超过了现有的最先进方法和人工注释的单模态标签。

    Feb, 2021

  • 自监督视频表征学习基准测试

    本文提出了用于视频领域的自监督学习基准，并对数据集大小、数据分布、数据噪声、自监督预训练架构相关的五个不同方面进行了观察分析，同时提出一种新方法，不需要过多的训练数据，即可超越现有自监督预训练的先进水平。

    Jun, 2023