visual features | BriefGPT - AI 论文速递

关键词visual features

搜索结果 - 120

Whisper-Flamingo: 集成视觉特征于 Whisper 中用于音频 - 视觉语音识别和翻译
Audio-Visual Speech Recognition (AVSR) uses Whisper-Flamingo, a model that integrates visual features, to improve speech
PDF18 days ago
融合镁冶炼过程中的异常检测的跨模态学习：方法论和基准
本文提出了一种跨模态 Transformer（称为 FmFormer），旨在通过探索视觉特征（视频）和过程变量（电流）之间的相关性，促进熔镁冶炼过程中的异常检测。该方法引入了一种新颖的标记化范式，以通过多尺度方式有效地弥合三维视频模态和一维
PDF19 days ago
多粒度语言指导的多目标追踪
通过结合多模态的语言驱动特征和视觉特征，在多目标跟踪中提出了一种新的 LG-MOT 框架，它在不同层次上（场景和实例级）明确利用语言信息并且与标准视觉特征结合以获得判别性表示。通过在现有的 MOT 数据集中注释场景和实例级的语言描述，将语言
PDF25 days ago
AnomalyDINO：使用 DINOv2 提升基于补丁的少样本异常检测
本文探讨了高质量的可视特征是否足以与现有的最先进的视觉语言模型竞争，并通过将 DINOv2 适应于一次性和少量次数的异常检测来证实这一点，重点放在工业应用上。我们表明这种方法不仅能与现有技术竞争，而且在许多情况下甚至能胜过它们。我们提出的仅
PDFa month ago
LucidPPN：用户中心可解释计算机视觉的明确范例部分网络
使用深度学习与基于案例推理的权力，原型部分网络使决策准确且可解释，通过以训练图像的补丁表示每个原型部分，但单个图像补丁包含多个视觉特征，如颜色、形状和纹理，使用户难以确定模型重要的特征。为减少此模糊性，引入了 Lucid Prototypi
PDFa month ago
MM面向图像标注的检索增强架构
通过利用外部的 kNN 内存来改善生成过程，本研究提出了两个模型变体，这些模型变体结合了基于视觉相似性的知识检索器组件、可微分编码器以及基于上下文线索和从外部存储器中检索的文本来预测标记的 kNN 增强语言模型。在 COCO 和 nocap
PDFa month ago
通过姿势编码变分自动编码器实现多元化的手语表达
该研究解决了多样性感知手语生成问题，扩展了变分推断范式以包括姿势信息和属性条件，通过 UNet 架构的生成器框架和变分推断的视觉特征生成具有不同属性的手语图像，实验证明该模型在多样性、像素图像质量和姿势估计方面的表现优于现有基准模型，并忠实
PDF2 months ago
GeoContrastNet：用于语言无关文档理解的对比键 - 值边缘学习
GeoContrastNet 是一个语言不可知的框架，通过将对比学习目标与图注意力网络（GATs）相结合，强调几何特征的重要作用，实现了结构化文档理解（DU）。我们提出了一种新的方法，将几何边缘特征与视觉特征结合在一个整体的基于 GAT 的
PDF2 months ago
CVPR基于检索增强的开放词汇物体检测
使用提取与负词汇的语义相似度和从大型语言模型中取得的概念进行视觉特征增益，通过 Retrieval-Augmented Losses and visual Features (RALF) 方法，成功改进了基于 Vision-Language
PDF3 months ago
面向广义零样本学习的高判别属性特征学习
零样本学习（ZSL）旨在根据观察到的类别的语义知识，识别未接触过的新类别，然而，当前基于注意力的模型对于学习图像区域特征时，可能忽视了视觉特征的可转移性和属性定位的独特性。为了解决这些问题，我们提出了一种名为高辨别属性特征学习的创新方法（H
PDF3 months ago
问题感知视觉变换器用于多模态推理
QA-ViT 是一种用于多模态推理的问题感知视觉 Transformer 方法，通过将问题感知能力直接嵌入到视觉编码器中，实现动态视觉特征，并且可以有效地应用于各种多模态架构，提高对视觉和场景文本的理解能力。
PDF5 months ago
基于视觉 - 语言模型的图像融合
通过利用不同源图像中的显式文本信息来指导图像融合，我们提出了一种名为 FILM 的新型图像融合范式，首次利用 ChatGPT 中的文本信息，通过交叉注意力从源图像中提取关键视觉特征，实现了更深层次的上下文理解，最终生成了融合图像。在红外 -
PDF5 months ago
iKUN：无需重新训练即可与追踪器对话
通过插入可插拔的知识统一网络 iKUN，本文介绍了一种基于输入文本描述的多目标跟踪方法，其中使用知识统一模块 KUM 来自适应性地提取视觉特征，并引入了神经卡尔曼滤波器 NKF 来动态调整过程噪声和观测噪声，同时提出了测试时相似性校准方法来
PDF6 months ago
文本提示引导的图像恢复
本研究提出了一种有效的基于文本提示的图像修复模型，通过任务特定的 BERT 进行精确理解用户指令并生成文本提示，设计了深度多头转置注意力和门控卷积模块来弥合文本提示和视觉特征之间的差距，创新地将语义提示引入到低层视觉域中，实验证明该模型在公
PDF7 months ago
6D 物体位姿估计结合零样本学习
提出了一种名为 PoMZ 的新方法，通过融合预训练的几何和图像模型，实现了零样本物体 6D 位姿估计的最新进展，该方法无需任务特定的微调，在 BOP 基准测试中在无法见到的物体的 6D 定位领域取得了第一名。
PDF7 months ago
基于剥夺指标的 StyleGAN2 街景图像合成的可视化抽象社会过程的生成模型
该论文通过生成对抗网络（GANs）将视觉方面应用于社会过程的研究，通过训练 StyleGAN2 模型，连接照片数据点与多个贫困指标的元数据，根据这些因素调整合成新图片，研究描述伦敦贫困和富裕地区的视觉差异。
PDF7 months ago
面向广义零样本学习的属性感知表示修正
我们提出了一种简单而有效的属性感知表征修正框架，用于广义零样本学习（GZSL），命名为（AR）^2，通过自适应地矫正特征提取器来学习新的特征并保留原有的有价值的特征。
PDF7 months ago
EMNLP印象：理解视觉符号学和美学冲击
通过独特的图像语义学数据集 Impressions，研究图像的符号学以及特定的视觉特征和设计选择如何引发特定的情感、思考和信念，证明了对图像印象的影响力超出了形式美学的描述，而是涉及其作为传达行为的成功，其中风格为意义形成做出的贡献与主题内
PDF8 months ago
通过一致性分配随机分区的视图进行表示学习
CARP 是一种无监督聚类方法，用于学习视觉特征的表示学习。CARP 通过随机划分原型进行端到端在线学习，使用梯度下降优化新的预训练任务，提高模型的一致性和稳定性，并证明其在多个下游任务上的表现优于其他自监督方法。
PDF8 months ago
IMITATE: 临床先验引导的分层视觉 - 语言预训练
为了利用医学报告的层次结构，从医学图像中提取多层次的视觉特征，并通过新的临床信息对比损失实现异构模态学习，我们提出了一种名为 IMITATE 的新型临床先验指导的视觉语言预训练框架，该框架在五项医学成像下游任务中优于基准方法，突出了整合医学
PDF9 months ago