Mar, 2024

FontCLIP: 一个用于多语言字体应用的语义排版视觉语言模型

PDF
TL;DRFontCLIP 是一种模型，通过一种新的微调方法，将片段和大视觉语言模型的识字理解能力相结合，从而将专业设计任务中获取期望字体的困难降至最低。它可以进行多语言和跨语言的字体检索和字形优化，减轻了获取所需字体的负担。
fontcliptypographysemantic understandingvision-language modelfont retrieval
发现论文，激发创造
  • Impression-CLIP：用于字体的对比形象嵌入

    通过使用 CLIP 模型，我们提出了 Impression-CLIP，用于捕捉字体形状和印象之间的弱关联。实验证明 Impression-CLIP 在字体与印象之间的跨模态检索中取得了更好的准确度，同时展现了对噪声和缺失标签的稳健性。

    Feb, 2024

  • TagCLIP：提高开放式语料库语义分割的区分能力

    本研究针对 CLIP 在像素级开放词汇学习任务中面临的输入像素误识别问题，提出了一种名为 TagCLIP 的改进方法，通过引入一种名为 trusty token 的可信标记，成功提高了现有模型的泛化容量。针对 PASCAL VOC 2012 和 COCO-Stuff 164K 两大数据集，TagCLIP 对于未知分类的 IOU 值均有显著提升。

    Apr, 2023

  • 使用 CLIP 的半监督图像字幕生成

    本文提出了一种利用 CLIP 模型进行半监督图像标注的方法，包括图像编码器、映射网络和语言模型，通过对比生成的标题和实际标题，并使用未标记的图像进行二次训练，得到了与完整数据集训练的业界最先进模型相比可比的性能，且标题更加独特、信息量更大，并且符合人类的偏好。

    Jun, 2023

  • VT-CLIP: 使用视觉引导文本增强视觉语言模型

    提出一种名为 VT-CLIP 的方法来增强 CLIP 模型，它通过可视化引导文本，使文本的特征更适应图片，在多分类任务中表现出很高的效果。

    Dec, 2021

  • 增强图像检索：基于 CLIP 模型的照片搜索的全面研究

    CLIP 模型是基于文本查询的图像检索的重要进展，通过在大规模数据集上进行训练获得显著的泛化能力，实现了图像和文本的跨模态理解，促进了自然语言理解和计算机视觉的无缝集成，为多媒体应用中的信息检索提供了强大的工具。

    Jan, 2024

  • ClipCap: 图像字幕的 CLIP 前缀

    本文使用 CLIP 编码作为前缀，利用简单的映射网络，然后微调语言模型以生成图像标题，无需额外的注释或预训练，有效地为大规模和多样化的数据集生成有意义的标题。同时，我们证明了我们的模型在有挑战性的概念标题和 nocaps 数据集上取得了可比较的结果，同时更简单、更快、更轻。

    Nov, 2021

  • CLIP 也可以理解文本：通过提示进行短语理解

    本篇研究发现，使用自然语言的方式来训练 Contrastive Language-Image Pretraining (CLIP) 的文本编码器，能够更好地实现短语的理解，甚至能够在正确的提示下，显著优于流行的语言模型，有效地提升实体聚类和扩展任务的效果。

    Oct, 2022

  • 多语言场景的渐进式视觉语言知识蒸馏和对齐框架

    我们提出了一个概念简单但有效的多语言 CLIP 压缩框架，并训练了一个轻量级的多语言视觉 - 语言模型 DC-CLIP，用于中文和英文环境。在零样本图像分类方面的综合实验表明，相比于现有的类似参数规模的模型，DC-CLIP 在英文环境中取得了优越的性能，在中文环境中表现出竞争性能，即使使用较少的训练数据。我们设计的训练机制证明了其有效性。

    Apr, 2024

  • Alpha-CLIP：聚焦于您想要的地方的 CLIP 模型

    Alpha-CLIP 是 CLIP 的一个增强版本，通过辅助的 alpha 通道来建议注意力集中的区域，并基于构建的 RGBA 区域 - 文本对进行微调。Alpha-CLIP 不仅保留了 CLIP 的视觉识别能力，还能精确控制图像内容的强调，具有在各种任务中展现有效性的强大潜力，包括但不限于开放世界识别、多模态大语言模型和条件 2D / 3D 生成。

    Dec, 2023

  • CLIP 轻量级语义分割

    通过引入一个新的特征融合模块，本研究提出了一种解决使用轻量级网络的语言引导范式的方法，该模块能够在嵌入空间中促进视觉和文本特征的接近和对齐，并展示出优于之前的最佳方法的性能。

    Oct, 2023