CVPRApr, 2022

图像 - 文本 - 标签空间统一的对比学习

PDF
TL;DR该研究提出了一种新型的学习范式 - 统一对比学习（UniCL），通过将人类标注的图像标签数据和网络爬取的图像文本数据相结合，学习出在零样本，线性探测，完全微调和迁移学习方案中具有语义丰富而有区分性的表示。在各种基准测试中，UniCL 的性能均优于语言图像对比学习和监督学习方法，并且在纯图像标签数据上，其表现也不亚于监督学习方法。
visual recognitioncontrastive learningzero-shot recognitionunified contrastive learningimage-text-label space
发现论文，激发创造
  • 利用连续提示进行医学影像 - 文本 - 标签联合对比学习

    本文提出了一种基于连续提示的统一图像 - 文本 - 标签对比学习框架，从数据统一性，多样性和假阴性样本等方面解决了医学图像对比学习中的的挑战，并在多个下游任务中展现出了出色的表现。

    Jul, 2023

  • UniFine: 一种用于零样本视觉 - 语言理解的统一和细粒度方法

    本文提出了一个统一的框架，以利用精细的信息实现零样本视觉语言学习，涵盖了多个任务，如视觉问题回答，SNLI-VE 和 VCR，并证实了该方法的有效性和泛化性。

    Jul, 2023

  • 视觉语言预训练的改进基线

    本文中，我们提出了一些基线模型，将对比学习与最近的自监督学习进展相结合，用于生成多模态表示。除了使用对比性损失，我们还使用了已被证明对视觉自监督学习成功的损失函数来对齐图像和文本模态。而使用更有效的数据增广技术可以提高模型性能，使我们在四个标准数据集上获得了最先进的性能。

    May, 2023

  • UniCL：大型时间序列模型的通用对比学习框架

    UniCL 引入了一种通用的和可扩展的对比学习框架，用于预训练时间序列基础模型，跨领域数据集验证了 UniCL 在各个领域的高泛化性能。

    May, 2024

  • 使用单塔 Transformer 统一视觉与语言表示空间

    本文提出了一种新的多模态表示学习框架 OneR，该框架可以将图像和标题简单地视为底层相互信息的两种不同视角，并统一地编码两种模态。通过对其进行全面评估，结果表明该框架具有潜在的高效性。

    Nov, 2022

  • UNIMO-2: 端到端的统一视觉语言基础学习

    本文提出了一种联合学习视觉、文本和不对齐图像和文本语料库之间的符号对齐的端到端 UNIMO-2 统一模态预训练框架，采用 “基础学习” 方案，成功地提高了一些跨模态任务的性能与视觉和文本语义对齐。

    Mar, 2022

  • 标签锚定对比学习用于语言理解

    本文提出一种基于标签锚定的对比学习方法（LaCon），用于自然语言理解分类任务中，不需要专门的网络架构或任何额外的数据增强，可轻松插入现有的强大预训练语言模型，相比于现有最先进技术，LaCon 在 GLUE 和 CLUE 基准测试数据集上有高达 4.1% 的提升，同时在少量样本和数据失衡的情况下也展现出显著的优势，获取了 FewGLUE 和 FewCLUE 基准测试任务高达 9.4% 的提升。

    Apr, 2022

  • UniBoost: 无监督单模态预训练来提升零样本视觉语言任务能力

    使用大规模非监督单模型预训练可以提高图像 - 文本匹配的零样本性能和模型理解图像和文本关系的能力

    Jun, 2023

  • 双重对比学习：基于标签感知数据增强的文本分类

    本研究利用 DualCL 框架将分类器参数作为增广样本，与输入样本结合运用对比学习方法，在五个基准文本分类数据集上表现出较高的分类准确性，并证实了 DualCL 框架在学习具有判别性的表示方面的能力。

    Jan, 2022

  • UNIMO：通过跨模态对比学习实现统一模态理解和生成

    本文介绍了一种名为 UNIMO 的统一单模态预训练架构，它可以有效地适应单模态和多模态理解和生成任务，利用大规模自由文本语料库和图像集合来提高视觉和文本理解的能力，并使用跨模态对比学习来将文本和视觉信息对齐到图像 - 文本对的统一语义空间。实验结果表明，UNIMO 显著改善了几个单模态和多模态下游任务的性能。

    Dec, 2020