Apr, 2023

双曲线图像 - 文本表示

PDF
TL;DR我们提出了 MERU，这是一种对图像和文本进行对比训练的模型，可以生成超几何表示。与当前的视觉语言模型相比，MERU 可以更好地捕获图像和文本之间的层次结构关系。我们的实验结果表明，MERU 可以同时兼顾分类和检索任务的性能，同时提供高度可解释性的表示空间。
meruhyperbolic representationsimage-text hierarchyclipmulti-modal tasks
发现论文，激发创造
  • 在双曲空间中嵌入文本

    本研究使用新的超几何嵌入方法学习文本数据中的词和句的嵌入，这些嵌入似乎编码了层次结构的某些直觉概念，然而，由于隐含的连续层次结构，这种模型更难以研究其学习层次结构的内部机制。

    Jun, 2018

  • 使用 CLIP 潜变量的分层文本条件图像生成

    提出一个两阶段模型，先用 prior 生成 CLIP 图像嵌入，再由 decoder 在图像嵌入的条件下生成图像。实验表明该模型可以提高图像的多样性，并在完美保留语义和风格前提下变化非必要的细节。利用扩散模型作为 decoder, 同时使用自回归和扩散模型作为 prior，发现后者更加高效且产生的样本更优。

    Apr, 2022

  • HGCLIP：基于图表示的层次理解视觉 - 语言模型的探索

    我们提出了一种将 CLIP 与图表示学习相结合以更深入地利用分层类结构的新框架（HGCLIP），通过将类层次结构构建成一个图，其中其节点代表每个类别的文本或图像特征，通过图编码器，文本特征结合了分层结构信息，而图像特征通过注意机制强调了从原型派生的类别感知特征，我们的方法在通用和细粒度视觉识别基准上均取得了显著的改进。

    Nov, 2023

  • 通过视觉表示精炼视觉 - 语言模型中的偏差感知

    通过使用简单的线性探测器，本研究探讨了如何从 CLIP 的嵌入中有效地提取特定任务的核心特征，结果显示 CLIP 的文本表示往往受到了有偏向的预训练数据中具有误导性的相关性的影响，实证结果表明相比文本嵌入，依赖于 CLIP 的视觉表示更为实用，可克服内置偏见。

    May, 2024

  • HyperText: 用双曲几何赋予 FastText 更强的能力

    本研究利用深度神经网络欧几里得空间模拟文本分类效果有限，为了更准确地模拟树形层次化数据，我们提出了一种基于超伪距离实现的文本分类模型，称为 HyperText。实验证明，HyperText 在多项文本分类任务上的表现优于 FastText，并大量减少了参数量。

    Oct, 2020

  • 基于语义表示的语言偏差图像分类评估

    通过引入基于认知科学文献的方法工具，本研究介绍了一项基准测试来评估人工模型的偏差，并使用这个基准测试评估了 CLIP 模型。我们发现，虽然单词嵌入的图像会扭曲 CLIP 模型在不同类别级别上的图像分类，但这种影响不依赖于图像和嵌入单词之间的语义关系，这表明 CLIP 视觉处理中的语义词表示与图像表示不共享。

    Jan, 2022

  • HiCLIP: 基于分层感知注意力的对比语言 - 图像预训练

    本文提出了用层级感知的注意力机制改进 CLIP 模型，以更好的捕捉图像和文本的高层语义，并在视觉识别和与视觉相关的下游任务中获得良好的结果。

    Mar, 2023

  • 通过 WordNet 层次结构评估文本到图像模型的上义词理解

    使用自动度量标准，评估了文本到图像模型在语言理解方面的能力，发现模型在理解词语间的超类关系以及部分词语的绘制上存在局限性。

    Oct, 2023

  • 检索增强对比视觉 - 文本模型

    本论文提出了 RECO 模型，该模型通过外部记忆检索获取精细化知识，应用于现有视觉文本模型中，并在 Stanford Cars、CUB-2011 和 OVEN benchmark 等多项任务中取得了显著性能提升。

    Jun, 2023

  • 在 CLIP 中区分视觉和文本概念

    本篇论文探讨了 CLIP 网络上单词图片和自然图片表征的纠缠度，发现其图像编码器可以将单词图片与描述相符的自然图片匹配，但同时处理字母的过程是与含义处理分离的，使用者还提出了一种有效的侧重隔离或排除拼写能力的表征子空间的方法，并对其在检索任务和生成图片方面进行了验证。

    Jun, 2022