multi-modal tasks | BriefGPT

关键词multi-modal tasks

搜索结果 - 14

多模式生成嵌入模型
多模态生成嵌入模型能够同时处理多模态任务，在效率上具有竞争力，具备良好的图像标题生成和文本图像检索能力。
PDFa month ago
无反向传播多模态在设备上通过云设备协作进行模型适应
我们在日益相互连接的世界中，智能设备不断积累大量的个性化多模态数据，迫切需要提供高质量、个性化的设备感知服务。为了克服云端基于微调适应 (FTA) 存在的问题，我们引入了一种革新的通用 On-Device 多模态模型适应框架，通过在云端部署
PDFa month ago
知识图谱应用于多模态学习：综述
本综述对 300 篇以上的文章进行了仔细审查，重点关注了两个主要方面的知识图谱 (KG) 相关研究，即 KG 驱动的多模式学习和多模式知识图谱 (MMKG)，通过定义 KG 和 MMKG，探讨了它们的构建进展，以及 KG 驱动的多模式学习任
PDF5 months ago
跨模态提示：为音频 - 视觉下游任务调整大型预训练模型
本论文提出了一种新的双向引导空间 - 通道 - 时间（DG-SCT）注意力机制，通过引入可训练的跨模态交互层，从当前模态跨空间、通道和时间维度自适应地提取关键信息，以解决多模态任务中的特征提取挑战，其结果在多个下游任务中达到最先进水平，并在
PDF8 months ago
mPLUG-Owl2：多模态大型语言模型的模态协作革新
通过引入模态协作，mPLUG-Owl2 多模态大型语言模型在文本和多模态任务中实现了卓越的性能，并且是首个在纯文本和多模态场景中展示模态协作现象的 MLLM 模型，为未来多模态基础模型的发展开辟了先河。
PDF8 months ago
基于关系传递的多模态领域自适应用于 REG
本文提出了一种新颖的方法，通过一种特殊的关系定制方法来有效地转移多模态知识，以解决跨领域适配问题，实验结果表明，我们的方法显著提高了多模态领域的可转移性，并增强了 Referring Expression Grounding 问题的适配性能
PDF9 months ago
基础模型是高效的多模态多任务模型选择器
通过大规模基础模型将不同下游任务的多样化标签格式转换为统一的噪声标签嵌入，从而通过简单的加权线性回归估计模型的可传递性，提出了一个高效的多任务模型选择器 (EMMS)。与现有方法相比，EMMS 在图像识别、引用、字幕生成、视觉问答和文本问答
PDFa year ago
生成式视觉问答
本研究探讨了一种新的方法来创建先进的视觉问答（VQA）模型，可以在时间泛化上产生成功的结果。通过利用来自 VQAv2 和 MS-COCO 数据集的图像和标题，通过稳定扩散生成新图像。使用这个增强的数据集来测试七个基线和最新的 VQA 模型的
PDFa year ago
ACLRC3：正则化对比交叉语言交叉模态预训练
该研究提出了 RC^3 pre-training 方法，该方法利用弱对齐的多语言图像 - 文本对进行跨语言、跨模态的视觉 - 语言预训练，并在下游的多模态任务中表现出更强的效果。
PDFa year ago
双曲线图像 - 文本表示
我们提出了 MERU，这是一种对图像和文本进行对比训练的模型，可以生成超几何表示。与当前的视觉语言模型相比，MERU 可以更好地捕获图像和文本之间的层次结构关系。我们的实验结果表明，MERU 可以同时兼顾分类和检索任务的性能，同时提供高度可
PDFa year ago
学得越多未必越好：视觉与语言任务中的知识可迁移性
研究在多模态任务中知识转移性，以探讨是否将不同任务的数据集合并来训练视觉 - 语言模型一定能提高它们的整体表现。通过对 12 项视觉 - 语言任务进行数百次交叉实验分析，发现不是所有的知识都能有益于相关任务，在同一组任务中却容易相互改进，而
PDF2 years ago
VLP：视觉语言预训练综述
本文调查了最近关于视觉 - 语言预训练 (VLP) 的进展和新前沿。这是第一篇关注 VLP 的综述文章，并对 VLP 模型做了具体总结，旨在为 VLP 领域的未来研究提供启示。
PDF2 years ago
CVPR通过语言条件滤波器调节自下而上和自上而下的视觉处理
本文旨在探讨如何在涉及语言和视觉的多模态任务中最佳地整合语言和感知处理，并提出了使用语言来调节自下而上处理以及自上而下注意力的 U-Net 模型。实验结果表明，使用语言控制自下而上的视觉处理可提高多任务的细分结果表现。
PDF4 years ago
为多模音乐分析创建一种多轨古典音乐演奏数据集：挑战、见解和应用
介绍了一个用于音频视觉分析音乐表演的数据集，其中包括 44 个简单的多乐器古典音乐作品的音频和视频录音、乐谱以及基于帧和音符的基础事实标注文件。该数据集可以用于 MIR 任务的开发和评估，以及为未来的比较提供基线系统。
PDF8 years ago