CAPro: 跨模态对齐原型的网络监督学习
提出了一种 Few-shot guided Prototypical (FoPro) 表示学习方法来从网络数据中进行有监督学习,并促进实现真实世界中的性能提升。该方法使用少量实际的标记示例,缩小了网络实例与 “现实” 原型之间的内部距离,并使用可学习的指标测量了图像 - 原型之间的距离。在实验中,FoPro 在网络数据集上进行训练并在现实世界数据集上进行指导和评估,取得了两个大型数据集三个细粒度数据集的最先进性能。与现有的 WSL 方法相比,FoPro 在同样的 Few-shot 设置下仍然在真实世界的推广方面表现优异。
Dec, 2022
本文提出了一种网络监督下的表示学习方法 —— 动量原型(MoPro),它能够在线修正标签噪声、删除分布之外的样本以及学习表示,实现了最先进的 WebVision 数据集性能,以及更好的图像分类和检测任务性能。
Sep, 2020
文章提出了利用网络图像及对应标签实现鲁棒视觉 - 语义联合嵌入学习的方法,通过在有限的训练数据中引入弱标注的网络图像能够取得比当前最先进方法更显著的图像 - 文本检索性能提升。
Aug, 2018
基于文本分类的超视域对比学习方法 SharpReCL,通过利用原型向量和样本集构建,克服了数据不平衡问题,实现了强大的特征学习和模型优化能力,在多个数据集上表现优于大型语言模型。
May, 2024
通过引入原型学习理论,利用原型意识来捕捉实例的多样化和细粒度特征属性,以减轻知识偏差并更好地捕捉语义对象区域的空间覆盖,提出了一种上下文原型感知学习策略(CPAL),并实验证明了其在弱监督语义分割方面的显著改进和达到最先进水平的性能。
Mar, 2024
提出了一种基于校准的双原型对比学习方法,用于减少学习类别无关特征与不同域原型之间的域差异,对于域泛化语义分割,通过不确定性引导的对比学习和加权对比学习来校准原型权重,实验证明该方法在域泛化语义分割任务上具有优越性能。
Sep, 2023
通过引入样本对间对比学习和原型 - 样本对比学习,提出了一种新颖的语义感知双对比学习框架,通过联合训练三个模块,准确捕捉与图像内容相关的判别性标签级特征,并在五个具有挑战性的大规模公共数据集上实验证明了该方法的有效性优于现有技术。
Jul, 2023
通过分类原型对齐和提示同步来提高视觉语言模型的零样本泛化能力和处理类别不平衡问题,并在测试中取得明显优于其他方法的结果。
Apr, 2024
基于对比学习的视觉 - 语言联合预训练已成为一种成功的表示学习策略,本文提出了一个原型表示学习框架,将医学图像和报告之间的全局和局部对齐结合起来,通过重构被屏蔽的图像和报告来在训练阶段交换跨模态信息,实验结果表明该方法在多个数据集和不同数据集规模下优于其他方法。
Jul, 2023
该研究提出了一种通过生成基于概念的原型来解释计算机视觉模型预测的方法,该方法可以快速创建领域专家可直观理解的基于概念的解释。通过与其他基于概念的解释方法的对比,该方法在粗粒度图像分类任务上表现出很好的竞争力,并且在更具挑战性的细粒度任务上甚至可能表现更优。该方法在人机协作环境中通过定性和定量用户研究证明其有效性。
Apr, 2024