对比多视角编码
这篇论文研究不同视角之间的关联性对于对比学习在无监督和半监督任务中的重要性,并提出通过减少视角之间的互信息来学习有效的视角以提高下游任务的准确性。同时,作者在 ImageNet 分类和 PASCAL VOC 目标检测以及 COCO 实例分割任务上通过对比实验展示了他们提出方法的高效性。
May, 2020
本文提出一种新的对抗噪声视图具有鲁棒性的对比损失函数,它在图像、视频和图形上的对比学习基准测试中提供了一致的改进,并且是模态无关和与 InfoNCE 损失的一个简单替代方法。
Jan, 2022
基于表示距离的互信息最大化方法用于量化不同视图的重要性,进而实现更高效的对比学习和表示解耦。通过在频率域提取多视图表示,并基于不同频率之间的互信息重新评估其重要性,本文提出的框架能够有效约束互信息最大化驱动的表示选择,推动多视图对比学习。
Feb, 2024
通过同时利用内部数据属性和跨模态关联的语义信息,开发了一种学习视觉表示形式的方法,其中包括多种类型的对比损失,从而提高了学习到的视觉表示的质量。该方法在 COCO 数据集上进行训练,可以被用于图像分类、目标检测、实例分割等下游任务,并在 ImageNet 数据集上实现了 55.3% 的顶级验证精度。
Apr, 2021
通过信息最大化和充分统计推导出新的表示学习目标,研究了多视图任务的匹配,在有限的计算预算中降低唯一样本数同时增加这些样本的视图数,与 SimCLR 相比,训练 128 个时期,批量大小 256 的多视图对比模型在 ImageNet1k 上的性能超越了训练 1024 个时期,批量大小 4096 的 SimCLR,对于对比模型需要大批量和长时间训练的观念提出了挑战。
Mar, 2024
该论文提出了一个从多个视角捕捉的无标注视频演示中学习视觉表示的框架,优化了最近提出的自监督学习算法,应用对比学习来增强与任务相关的信息和抑制特征嵌入中的无关信息,验证了所提出的方法在模拟几种机器人任务,包括 pick and place 任务中的应用,评估了学习表示的三个指标:视点对齐,阶段分类和强化学习,在所有情况下,结果都表明与现有方法相比,该方法水平更高,而且训练轮数更少。
Jan, 2022
本篇论文探讨了如何运用对比学习的方法,使用 Viewmaker 网络产生视角从而处理多种遥感数据集,同时发现该方法在每个多光谱成像问题上表现优于基于裁剪和反射的方法,结果表明领域无关的方法可以扩展应用到实际的科学领域。
Feb, 2023
本文提出了一种基于对比学习的新颖视角不变的面部表情识别框架 ViewFX,能够准确分类面部表情,无论输入的观察角度如何。该方法利用自监督对比损失来学习表情的视角不变特征,同时引入有监督对比损失来使学得的特征与其他表情区分开。经过实验验证,该方法在公开多视角面部表情识别数据集 KDEF 和 DDCF 上表现优于以往的方法,成为了新的最佳方法,并且在面对具有挑战性的观察角度和训练样本标签数目时具有较低的敏感性。同时,还进行了详尽的敏感度和消融实验,评估了模型不同部分的影响以及对不同参数的敏感性。
Nov, 2023
通过分析一个简单的多模态对比学习模型的训练动态,我们展示了对比对是提高学习效率和平衡学习表示非常重要的因素。特别地,正对会驱使模型在增加条件数的代价下对齐表示,而负对将减小条件数,保持表示的平衡。
Apr, 2023