visual knowledge | BriefGPT

关键词visual knowledge

搜索结果 - 10

IJCAITAI++：基于共同学习的可迁移提示的多标签图像分类中的文本作为图像
该研究论文提出了一种使用伪视觉提示的模块来改进多标签图像分类的性能，通过将伪视觉提示与文本提示结合，增强它们的视觉表示能力，并在多个数据集上展示了超过现有方法的性能提升。
PDF2 months ago
借助大型语言模型重新思考逆向图形
通过大型语言模型中编码的广泛世界知识，我们提出了一个反向图形的大型语言模型（IG-LLM）框架，将视觉嵌入解码为结构化的、组合的三维场景表示，从而展示了语言模型在逆向图形中的潜力，并推动了关于图像的精确空间推理的新可能性。
PDF2 months ago
ECCV在少量样本学习中进行迭代视觉知识补全
本文提出了一种迭代式视觉知识完善（KCL）方法，通过正确利用未标记样本来补充视觉知识，以应对少样本学习中存在的分类偏差问题。经过多次迭代，收集更多样本以逐步稳定和完善视觉知识。实验结果表明，KCL 在少样本和零样本学习设置下作为即插即用模块
PDF3 months ago
大模型时代的视觉知识：回顾与展望
视觉知识在人工智能中的重要性及其与认知心理学的关系的综述论文，强调了在大模型时代中视觉知识的机遇和独特作用。
PDF3 months ago
LION：赋能双层视觉知识的多模态大语言模型
多模态大型语言模型（MLLMs）借助视觉知识的两个层面提升了理解和感知多模态信号的能力。通过逐步整合细粒度的空间感知视觉知识和软提示高级语义视觉证据的方法，我们的模型在多个多模态基准测试中展示了过人的优越性能。
PDF7 months ago
ICCVCLIPTrans：基于预训练模型的多模态机器翻译中的视觉知识迁移
本研究提出了 CLIPTrans 框架，通过简单地调整预训练的多模态 M-CLIP 和多语言 mBART 模型，使它们的嵌入空间对齐，并通过轻量级映射网络对 mBART 进行条件化。实验证明该框架的优点，并将标准基准提升了平均 2.67 个
PDF10 months ago
ReSee：在开放域对话中通过视觉信息响应和传递细粒度视觉知识
本文提出了一种将视觉知识集成入基于文本的对话系统的方法，通过对视觉知识进行细分并从互联网或大型图像数据集中检索增强的视觉信息，实现了两个数据集（ReSee-WoW、ReSee-DD）的构建，并在所构建的对话模型（ReSee）上进行了大量的实
PDFa year ago
语言与视觉：基于场景的词语和句子嵌入研究
本研究提出了一种简单且非常有效的预训练词嵌入视觉对齐方法，使得即使对于抽象词，我们也能生成受视觉基础支撑的嵌入，并且在一系列的单词相似性基准测试中证明了视觉基础支撑不仅有益于具体词，还有益于抽象词。
PDF2 years ago
EMNLP基于解耦多模式对比学习的无监督自然语言推断
本文提出了一种名为 MACD 的多模态对齐对比去耦合学习网络，通过对比学习将视觉信息编码到解耦的文本编码器中，从而使其可以嵌入视觉知识，提高了无监督的自然语言推理的性能。
PDF4 years ago
ConceptLearner: 从弱标注的图像集合中发现视觉概念
本研究提出了 ConceptLearner，一种可扩展的方法来从弱标记的图像集合中自动学习并发现视觉概念检测器，并表明 ConceptLearner 能够应用于图像级别的概念识别和图像区域级别的概念检测，并在 SUN 数据库和 Pascal
PDF10 years ago