fine-grained alignment | BriefGPT

关键词fine-grained alignment

搜索结果 - 4

细粒度的辅助信息引导的零样本骨架动作识别
通过侧面信息和双提示学习，我们提出了一种用于基于骨架的零样本动作识别（STAR）的新方法，以精细级别对骨架和语义空间进行对齐，从而区分高相似动作类别。我们在 NTU RGB+D、NTU RGB+D 120 和 PKU-MMD 数据集上进行了
PDF3 months ago
M2ConceptBase: 一个细粒度的对齐多模态概念知识库
通过建立一个多模态概念知识库、提供细粒度对齐以增强图像与概念之间的交互能力，该论文在进行模态间对齐时有效地改善了多模态模型的概念理解和交叉模态对齐能力。
PDF7 months ago
Wukong-Reader：用于细粒度视觉文档理解的多模态预训练
本文提出的 Wukong-Reader 通过各种新的预训练目标进行训练，以利用文档文本线中嵌套的结构知识。本文还介绍了文本线 - 区域对比学习、遮罩区域建模和文本线网格匹配等方法，以增强文本线的视觉和布局表示。实验结果表明，我们的 Wuko
PDF2 years ago
数据有效性视觉 - 语言对齐的课程学习
利用 TOnICS 算法对使用少量成对数据的预训练语言和视觉表示模型进行对齐，从而实现了使用更少的数据在 BERT 和 VinVL 预训练模型上进行映射，超越了 CLIP 在零样本图像检索方面的表现。
PDF2 years ago