Search | BriefGPT - AI 论文速递

搜索结果 - 200

AutoGluon-Multimodal (AutoMM): 为基础模型提供动力的多模态 AutoML
AutoGluon-Multimodal 是一款用于多模态学习的开源 AutoML 库，通过只使用三行代码即可对基础模型进行微调。该库支持独立和组合的图像、文本和表格数据多种形式，并提供了全面的功能套件，包括分类、回归、目标检测、语义匹配和
PDF10 days ago
Multimodal C4: 亿级图文混合语料库
Multimodal C4 is a publicly available dataset that supports in-context vision and language models, including linear assi
PDFa year ago
MM-TTS: 多模态、情绪感应文本转语音综合的统一框架
Multimodal Emotional Text-to-Speech System (MM-TTS) is proposed, which leverages emotional cues from multiple modalities
PDF5 days ago
FashionSD-X: 多模态时尚服装合成基于潜在扩散
这篇研究论文介绍了一种新颖的生成性流程，通过使用潜在扩散模型改变了时尚设计过程，利用 ControlNet 和 LoRA 微调生成高质量图像，从文本和草图等多模态输入生成。我们结合草图数据，对包括 Multimodal Dress Code
PDF8 days ago
真实化：释放大型多模态模型在真实材料上绘画 3D 对象的能力
利用 Multimodal Large Language Models (MLLMs)，特别是 GPT-4V，通过 Make-it-Real 方法，我们展示了 GPT-4V 能够有效地识别和描述材料，构建详细的材料库，并将其准确地与 3D
PDF9 days ago
逐项列出：多模式 LLM 的新数据源和学习范式
通过对图像上的视觉标签列表项化，将视觉标签与图像关联起来，研究表明这种新的训练范式可以提升 Multimodal Large Language Models 的视觉推理能力和减少幻觉，并加强对象 - 文本对齐。
PDF9 days ago
眼见不一定全是实情：多模态大语言模型因果推理能力的基准测试
基于现有多模态大型语言模型 (MLLMs) 在视觉问答评测方面的认知和推理能力，我们提出了一个新的 CFMM（Counterfactual MultiModal）基准测试，以系统评估 MLLMs 的反事实推理能力，发现现有 MLLMs 往往
PDF15 days ago
CVPR探索视觉提示在多模态大型语言模型中的可转移性
通过 Transferable Visual Prompting (TVP) 这一新方法，在只对一个模型进行训练的情况下，有效改善多样化的 Multimodal Large Language Models (MLLMs) 的性能，以提高其在
PDF17 days ago
HAMMR: 分层多模态反应智能代理程序用于通用 VQA
利用大型语言模型（LLMs）与外部专用工具（LLMs+tools）相结合是解决多模态任务（如视觉问答）的最新范式。本研究以统一的视角提出 VQA 问题，并在包括计数、空间推理、OCR-based 推理、视觉指向、外部知识等各种 VQA 任务
PDFa month ago
基于多模态大语言模型的联合视觉与文本提示改善目标中心感知
使用视觉和文本提示的新方法 (VTPrompt) 提高了 Multimodal Large Language Models 在物体感知方面的能力，并在三个基准测试上表现出显著的改进。
PDFa month ago
SIGIRIISAN: 高效适应多模态表示的顺序推荐与解耦 PEFT
我们的研究引入了 IISAN（Intra- and Inter-modal Side Adapted Network for Multimodal Representation），它利用解耦的 Parameter-efficient Fin
PDFa month ago
零样本心电图分类的多模态学习与测试时临床知识增强
通过多模态学习心电图记录和相关报告，提出了一种 Multimodal ECG Representation Learning (MERL) 框架，可通过文本提示进行零样本心电图分类，消除对下游任务训练数据的需求，并使用 LLM 来利用外部专
PDF2 months ago
小语言模型的多模态助手全面重构
在本文中，我们研究了 Multimodal Small Language Models（MSLMs）的设计方面，并提出了一种高效的多模态助手 Mipha，旨在在视觉表示、语言模型和优化策略等各个方面产生协同效应。我们展示了在不增加训练数据量
PDF2 months ago
CAT: 增强多模态大型语言模型以回答动态音频 - 视觉场景中的问题
本研究关注于回答由丰富而复杂的动态视听组件组成的场景中的问题，引入了 CAT 来增强 Multimodal Large Language Models（MLLMs）在这些场景中的应用，CAT 通过聚合问题相关线索、训练混合多模态数据集以及优
PDF2 months ago
漫画文本补全的多模态 Transformer
这项研究通过引入一种新颖的多模态大型语言模型（Multimodal-LLM）架构，特别设计用于文字片断选择的闭合任务（Text-cloze），并通过使用 SimCLR 以自监督的方式将 comics 领域进行了特定调整，以达到比现有最先进模
PDF2 months ago
具有低计算成本保证的多模态 Transformer
Transformer-based models have significantly improved performance in multimodal understanding tasks, but suffer from high
PDF2 months ago
全球热带气旋强度预测的多模式多尺度因果自回归模型
通过将因果关系与大规模多模式数据相结合，我们提出了第一个全球台风强度自回归预测模型 Multimodal multi-Scale Causal AutoRegressive model（MSCAR），并提供了迄今为止最长且最全面的与台风有关
PDF3 months ago
基于跨模态原型的严重缺失模态下的多模态联邦学习
本文提出了一种名为 “Multimodal Federated Cross Prototype Learning (MFCPL)” 的新方法，针对数据中存在严重缺失模态的多模态联邦学习（MFL）问题，通过使用完整的原型样本在共享模态级别和特
PDF3 months ago
超越反遗忘：利用正向迁移进行多模式连续指导调整
Multimodal Continual Instruction Tuning (MCIT) enables Multimodal Large Language Models (MLLMs) to meet continuously eme
PDF4 months ago
FM-AE：用于锌电解板接触异常检测的频率屏蔽多模态自编码器
为了确保生产质量和效率，文章提出了一种将细胞电压信号和红外图像信息作为输入的端到端网络 ——Frequency-masked Multimodal Autoencoder（FM-AE）。通过自动编码将这两种特征融合在一起，并通过级联检测器预
PDF4 months ago