- ICLR时间序列价值 64 词：使用 Transformer 进行长期预测
本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序 - ECCV非对比性孪生表示学习中的崩溃理解
通过对 SimSiam 两个非对比损失方法进行实证分析，研究发现 SimSiam 对数据集规模和模型大小非常敏感，并提出用崩溃度量来衡量降维崩溃的程度，进而预测下游任务性能。同时，采用持续学习模式作为规范器可以预防模型的崩溃，并提出一种持续 - 用向量量化视觉令牌器进行遮蔽图像建模的 BEiT v2
本文提出使用语义丰富的视觉分词器作为蒙版预测的重构目标，以将蒙版图像建模从像素级别推广到语义级别，包括矢量量化知识蒸馏、预训练 Vision Transformers 和图像聚合策略等，实现了对图像分类和语义分割的超过现有 MIM 方法的表 - ECCVBYEL : 情感潜变清单
利用合成图像训练 Bootstrap Your Emotion Latent (BYEL) 框架进行情感识别，BYEL 通过在 BYOL 框架中添加情感分类器和情感向量子 traction 的方式实现，该框架仅用合成图像进行训练，实验结果表 - MUSIC: 多段信息编码的自监督表征学习
本文提出了 MUlti-Segmental Informational Coding（MUSIC）方法，使用信息理论测量直接优化划分样本到不同语义聚类的多个划分部分，以避免最小解，证明了 MUSIC 比最相关的 Barlow Twins 和 - 无标签图像分类的屏蔽无监督自训练
本文提出了一种利用目标领域丰富的无标注数据改进已预训练的零样本分类器的无监督微调方法 Masked Unsupervised Self-Training（MUST）并在各种下游任务上证明了其有效性，包括在 ImageNet 上使用 ViT- - 自监督语音表示学习：综述
本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。
- 置换聚类分配的对抗性对比学习
本文提出一种名为 SwARo 的对抗性对比学习框架，结合聚类分配和实例感知对抗样本生成以提高语义相似性和计算效率，并在多个基准数据集上进行评估，获得了与最先进的基线相比的一致改进。
- CVPR视频对比学习的概率表示
本文提出了一种概率视频对比学习的自我监督表示学习方法，该方法基于混合高斯将视频剪辑呈现为正常分布并将它们组合成一个高斯分布混合物来建模整个视频分布，通过此方法我们可以避免对剪辑进行转换以生成增强剪辑视图的不必要策略，实验证明该方法在 UCF - CVPR通过相似性感知归一化探索场景文本的自监督表示学习
提出一种自监督生成网络（SimAN），通过相邻的图像块来指导网络进行图像重建，增强网络对图像的表征能力，该方法不仅可用于复杂图像识别中，也可以用于数据合成、文本图像编辑和字体插值等实际应用领域。
- 走向一个共同的语音分析引擎
本文提出了基于 HuBERT 自监督语音表示法的通用语音分析引擎架构，能够处理多个语音处理任务并支持小型数据集的新任务。实验结果表明，在语言识别和情感识别任务上，该引擎的表现超过了现有的最高水平，并且在使用少量训练数据的情感识别任务上也具有 - 医学网络自监督表示学习在药物开发中的多任务联合策略
本文中提出了一种名为 MSSL2drug 的多任务自我监督表征学习的生物医学网络方法，使用基于图注意力机制的对抗学习框架， 评估了包括结构，语义和属性在内的多种模态特征的六种基本任务，其中的多模态、局部 - 全局组合策略可以被看作是多任务自 - ICLR基于掩码多模态聚类预测的音视频语音表征学习
AV-HuBERT 是自监督学习框架，用于从视频、音频中学习音视双方言的表征，可用于口型阅读和语音识别任务。在 433 小时的公共数据集 LRS3 上，使用 AV-HuBERT 的自我训练，口型阅读错误率降低到 26.9％，使用相同的表征进 - MM自监督视觉表征学习中的密集语义对比
本文提出了一种密集的语义对比学习框架，用于多颗粒度表示学习，以模拟语义类别决策边界以满足下游的密集预测任务，实验证明我们的模型优于现有的方法，包括目标检测、语义分割和实例分割。
- IJCAI从未标注的图像中发现部件并进行数据增强的小样本学习
本文介绍了一种基于元学习的方法，通过学习无标签图像的传递特征来进行 few-shot 学习，同时采用了基于部分的自监督表示学习和部分增强策略来缓解数据稀缺引起的过度拟合问题，并在 miniImageNet 和 tieredImageNet - 我们是否需要从领域内数据中学习表示以进行异常检测？
本文探讨了使用单个预训练网络作为通用特征提取器，在异常检测任务中取代训练不同表示器的可能性，并在实验中证明了使用领域内数据学习表示可能不是异常检测的必要步骤。
- 带有跨视频循环一致性的图像表示对比学习
本文研究了自监督表示学习的核心方法之一 —— 图像内部不变性学习，提出了一种新的基于循环一致性的对比学习方法，探索了跨视频关系，实现了图像表示的有效学习，并在多个下游任务中获得了显著的改进。
- ICCV自监督学习中特征解相关化
本文研究了自监督表示学习的框架，在此基础上，发现了完全坍塌和维度坍塌的问题，并将维度坍塌与特征装饰相关联以提高表示的稳健性。
- ICCV基于单模态和多模态数据的联合表示学习与新类别发现
该论文探讨了如何在单模态和多模态数据中发现新类别，提出了一种基于自监督表征学习的端到端框架来处理带有来自不同但相关类别的标签的数据，通过 WTA 哈希算法生成伪标签以更好地预测聚类分配结果，并在多个标准基准测试集上取得了最先进的成果。
- ECCVDisCo: 用蒸馏对比学习订正轻量模型的自监督学习
本文提出了一种名为 Distilled Contrastive Learning (DisCo) 的方法，通过将主流自监督学习方法中蕴含的最有价值的信息提取出来，然后通过约束学生模型的最终嵌入与教师模型的嵌入保持一致，从而大幅缓解模型规模减