cross-modal understanding | BriefGPT

关键词cross-modal understanding

搜索结果 - 7

多模态知识图谱下的多模态推理
提出了一种利用多模态知识图 (MMKGs) 进行多模态推理的方法 (MR-MKG)，通过利用多模态知识图 (MMKGs) 跨模态地学习丰富的语义知识，显著提高了大型语言模型 (LLMs) 在多模态推理中的能力。通过在仅使用 LLM 参数的
PDFa month ago
TripletMix: 三维理解的三元组数据增强
我们提出了 TripletMix，一种新的方法来解决多模态数据增强在 3D 理解中的问题，通过混合增强的原则同时增强文本、图像和点云三种模态数据，从而提高模型的跨模态理解能力和泛化能力。
PDFa month ago
增强图像检索：基于 CLIP 模型的照片搜索的全面研究
CLIP 模型是基于文本查询的图像检索的重要进展，通过在大规模数据集上进行训练获得显著的泛化能力，实现了图像和文本的跨模态理解，促进了自然语言理解和计算机视觉的无缝集成，为多媒体应用中的信息检索提供了强大的工具。
PDF5 months ago
视觉问答模型和人类智能的认知比较研究
通过比较视觉问答模型的输出和注意力图与人类的相似之处，研究发现虽然 VQA 模型在结构和识别水平上与人类相似，但在认知推理方面仍然存在挑战。人类思维过程的分析有助于指导未来的研究，并在建模特征和架构中引入更多的认知能力。
PDF9 months ago
通过对比学习提高视觉对话中的跨模态理解
本文提出了基于 VD-BERT 模型的 ICMU 方法，通过四向对比学习区分不同的输入来提高跨模态理解，支持多次视觉对话，改善视觉对话模型的跨模态理解，并在 VisDial 数据集上得到了令人满意的结果。
PDF2 years ago
用于医疗教学视频分类和问答的数据集
介绍新的数据集和任务，旨在促进医疗视频的理解与自然语言问题的视觉回答，并以这两项任务为重心，提供跨模态（医疗语言和医学视频）的理解挑战。这些任务和数据集有助于推动支持公众和医务人员受益的下游应用程序的发展，并已通过医学信息学专家的验证和修正
PDF2 years ago
用 Transformer 掌握文本到图像生成的技巧 ——CogView
提出了一个使用 4 亿多参数的 Transformer 模型 CogView 以及 VQ-VAE 分词器解决通用领域文本到图像生成问题，并展示了细调策略和预训练稳定化方法，CogView 在模糊的 MS COCO 数据集上实现了最优性能，胜
PDF3 years ago