visual semantics | BriefGPT

关键词visual semantics

搜索结果 - 12

寻找脑中共同可解编码的概念及其否定的脸的对立是什么？
通过训练多模态（自然语言和图像）神经网络架构（CLIP），我们使用一种新颖的 DBSCAN 聚类算法的适应版来聚类这些参与者特定对比模型的参数，揭示了我们称之为共享解码概念（SDCs）的在多个参与者中通过共同一组体素解码的 CLIP 空间中
PDFa month ago
少即是多：去除文本区域提高 CLIP 训练效率和鲁棒性
本文介绍两种有效方法来提高 CLIP 模型的效率和鲁棒性：（1）在维持相同优化步数的情况下增加训练数据集，（2）过滤包含图像中文本区域的样本，从而在像 ImageNet 和 CoCo 公共基准测试中显著提高分类和检索精度。过滤掉包含文本区域
PDFa year ago
可解释图像分类模式推断
本文提出了一种基于 schema 推理的新型推理范式，该范式通过构建先前的深度神经网络（DNN）转发方案重建来学习演绎地推断出可解释的预测，同时建立了一种模型推断管道，利用人类推理机制的印象匹配类比，将图像中提取的视觉概念与先前计算得到的场
PDFa year ago
CISum: 学习跨模态交互以增强多模态概述的语义覆盖范围
提出多任务交叉模态学习框架（CISum）以通过学习多模态文章中的跨模态交互来改善多模态语义覆盖。将图像转换为视觉描述，与文本内容相关联，进而与文本内容融合以生成文本摘要，选取最相关的图像作为视觉摘要。设计自动多模态语义覆盖评估指标并在实验证
PDFa year ago
对齐视觉和词汇语义
本文介绍了与计算机视觉系统相关的两种语义 —— 视觉语义和词汇语义，分别关注人类如何通过视觉感知和语言理解来建立概念。由于视觉和词汇语义之间的差异，导致语义鸿沟问题，本文提出了一种通用的、非领域特定的方法来强制实现视觉和词汇语义之间的一致性
PDF2 years ago
CVPR内容感知布局推断的美学文本标志合成
本文介绍了一种基于内容感知布局生成网络的方法，将字形图像和对应文本作为输入，自动生成美观的排版布局。在设计中融合了语言学和视觉语义信息，同时训练和评估了文本 Logo3K 数据集，验证了其在合成视觉上令人愉悦的文本 Logo 方面的优越性。
PDF2 years ago
ACL与小猪佩奇一起学英语
通过对儿童动画片数据集的使用，研究利用视觉和语音数据在联合矢量空间中表示话语与视觉信息的双向架构，以解决该领域的研究中存在的数据训练不足的问题。
PDF2 years ago
AAAI视觉语义提高了场景文本识别中的文本推理水平
该研究提出了一种基于图卷积网络的文本推理（GTR）方法并将其应用于场景文本识别中，该方法可以利用像素之间的空间关联来提高文本识别的性能，并在六个具有挑战性的基准测试中获得最新的最佳结果。
PDF3 years ago
ECCV语言驱动的图像风格迁移
引入了一个新的任务，即以语言为驱动的艺术风格转移（LDAST），通过文本引导操纵内容图像的风格，所提出的对比语言视觉艺术家（CLVA）可以从风格指令中提取视觉语义并通过分块风格鉴别器实现 LDAST。
PDF3 years ago
MM避免使用 hash，并在引用的新兴语言游戏中鼓励视觉语义
本研究考虑了 Havrylov 和 Titov 的信令游戏设置，并研究了特征提取器的权重和解决的任务对模型所学习或捕捉的视觉语义的影响。通过对输入图像的各种增强和游戏中的附加任务的引入，实现了在完全自监督的情况下学习捕捉图像概念属性的视觉表
PDF5 years ago
利用先验视觉关系的场景图推理用于视觉问答
使用结构化可视化表征 —— 场景图，通过可视上下文和语言因素进行关系编码，使用场景图卷积网络实现对对象属性和关系语义的联合推理来回答视觉问题，从而在 GQA 数据集上实现了 54.56％的最高准确率。
PDF6 years ago
智能体视角下的视觉表征：一种新兴语言游戏研究
探究 Lazaridou 等人（2017）的指称游戏中，代理人在相互作用过程中建立起的视觉表示，结果发现代理人成功建立沟通是通过引导几乎完全一致的视觉表示来实现的，但却没有捕捉到输入图像所描述的概念特性，因此我们应该更关注代理人将其使用的符
PDF6 years ago