通过蒸馏解耦重新思考多视角表示学习
多视角表示学习通过发现多视图一致性和解缠绕的信息边界,提出了一种旨在超越归纳偏见、确保表示的可解释性和泛化性的新型多视图表示解缠绕方法。实验证明了该方法在聚类和分类性能上优于其他 12 种方法,并且提取的一致性和特异性具有紧凑和可解释的特点。
Aug, 2023
本篇论文提出了一种多视图增强蒸馏框架,通过跨编解码器到对编解码器的多精细和提及相关部分的知识传输,从而有效地学习与不同提及相匹配的实体表示,实验表明该方法在几个实体链接基准上实现了最优性能。
May, 2023
本文提出了一种统一的视角,针对现有方法进行了修订,并引入了一种名为 MaskDistill 的简单而有效的方法,通过对受损输入图像的屏蔽位置的主题模型重新构建归一化语义特征,以解决大规模训练视觉转换器中需要大量标记的问题,实验结果表明,MaskDistill 在图像分类和语义分割方面的表现优于现有技术。
Oct, 2022
本文介绍了一种自我监督学习的方法,用于提取图像的特征向量,并将其组合用于图像搜索引擎的检索算法中。这种方法能有效地减少特征重叠,提高查询的精确性。
Feb, 2023
本文提出基于两阶段模型的掩模视频蒸馏方法 (MVD),并采用空间 - 时间共同教学方法进行电影变换器的预训练,实验证明该方法对于多个视频数据集优于现有方法。
Dec, 2022
本文提出了一种新型的多阶段深度多视图聚类框架,引入多视图自我蒸馏(DistilMVC)来提取标签分布的暗知识,从而消除过度自信的伪标签的影响,提高模型的泛化能力,并通过对比学习来探索多个视图的常见语义,通过最大化视图之间的互信息来获得伪标签,同时通过教师网络将伪标签蒸馏为暗知识,提升学生网络的预测能力,实验结果表明,与现有方法相比,我们的方法在真实多视图数据集上具有更好的聚类性能。
Oct, 2023
提出了一种基于深度神经网络的掩码两通道解耦框架,用于解决复杂而高度逼真的不完全多视角弱多标签学习任务,核心创新在于将深度多视学习方法中的单通道视图级表示解耦为共享表示和视图专有表示,并设计了交叉通道对比损失以增强两个通道的语义属性。此外,利用监督信息设计了标签引导的图正则化损失,帮助提取的嵌入特征保持样本间的几何结构,并开发了随机片段掩码策略来改善编码器的学习能力。值得强调的是,我们的模型完全适应任意视图和标签缺失,并在理想完整数据上表现良好,在充分充足的实验证明了我们模型的有效性和先进性。
Apr, 2024
基于表示距离的互信息最大化方法用于量化不同视图的重要性,进而实现更高效的对比学习和表示解耦。通过在频率域提取多视图表示,并基于不同频率之间的互信息重新评估其重要性,本文提出的框架能够有效约束互信息最大化驱动的表示选择,推动多视图对比学习。
Feb, 2024
该研究旨在构建一种基于视角知识蒸馏(VKD)的模型,通过在 teacher-student 框架下将多种视角信息作为监督信号进行主动学习,从 Video-To-Video 到 Image-To-Video,显著提高了人、动物、车辆重识别的性能。
Jul, 2020
本论文探讨了如何对多视角聚类模型进行表示分布的对齐操作,提出了对齐操作存在的问题,并提出了一种避免对齐操作的基线模型以及新增一种选择性对齐的对比学习组件,实验证明该模型可以有效提高多视角聚类模型的性能表现。
Mar, 2021