我们提出了 MERU，这是一种对图像和文本进行对比训练的模型，可以生成超几何表示。与当前的视觉语言模型相比，MERU 可以更好地捕获图像和文本之间的层次结构关系。我们的实验结果表明，MERU 可以同时兼顾分类和检索任务的性能，同时提供高度可解释性的表示空间。

Apr, 2023

本论文提出了一种多模态蕴含分类器来确定图像的语句，以及开发了一种通用可调节学习速率策略来教授一个检索模型区分这些蕴含的语句和其他负样本。在实验中，我们手动注释了一个蕴含更正的图像文本检索数据集用于评估。结果表明，所提出的蕴含分类器达到了约 78% 的准确度，并持续提高了图像文本检索基线的性能。

Aug, 2022

利用 Poincare 球来嵌入句子，证明了超几何空间可以用于解决文本蕴含问题。使用四个数据集评估并与多个基准模型比较，结果表明我们在 SICK 数据集上表现最好，在 SNLI 数据集的蕴含任务的二分类版本中仅次于 Order Embeddings。

Jun, 2024

使用 CLIP Projection-Augmentation Embedding（PAE）作为优化目标，以改善文本引导的图像操作的性能。

Oct, 2022

我们的研究发现，数据过滤方法在图像和文本领域也存在偏见和价值观，并且与一些边缘群体相关的数据更容易被排除。此外，我们还发现现有的数据过滤方法可能加剧数据收集中存在的不平衡问题，并且有必要对数据集的创建和过滤做出根本性的改变。

May, 2024

本文针对视觉与语义嵌入中的 hub 问题，探讨了两种优化目标以及提出的 hubness-aware loss function 的优点，并在模型架构和数据集方面进行了实验，结果表明该方法在 text-image matching 任务中具有优良的鲁棒性并且能够带来一致性的改进。

Nov, 2019

本研究聚焦于社交媒体中的多模式夸张检测， 使用微博数据集，并构建了基于文本和图像的模态进行检测的 benchmark，并评估不同模型的跨领域性能。

Jul, 2023

提出了一种基于超级对比学习预处理的新框架 ConEntail，它使用统一的元任务进行分类，该任务基于嵌套蕴含。实验结果表明，该框架可以有效地利用现有的注释数据，在零和少量样本情况下始终优于基线 (分别达到 9.4% 和 3.5% 的平均改进)。

Oct, 2022

本研究设计了一种提示策略，将多个 NLU 任务作为上下文蕴含进行推断，并提出了简单伪标签编辑算法（SimPLE）以提高自我训练的伪标签质量，在二分类和多分类分类任务上进行的实验表明，自我训练蕴含模型在语言理解任务上比大型语言模型更有效和可信。

May, 2023

该研究提出了一种新的基于文本的图像操作框架，该框架几乎不需要手动注释，并使用大规模预训练的视觉语言模型 CLIP，通过预测属性、引入脱缰损失和提出新的评估指标来实现图像操作的解开，该框架在复杂的人脸编辑任务中获得比现有 StyleCLIP 基准更好的定量和定性结果。

Nov, 2021