multi-modal pretraining | BriefGPT

关键词multi-modal pretraining

搜索结果 - 5

一种分组对称随机微分方程模型用于分子多模态预训练
本文提出了一种基于分组对称（例如 SE（3）- 等变和反射反对称）随机微分方程模型的新方法 MoleculeSDE 来处理单个模态学习不足的问题，并解决了现有分子多模态预训练方法所遭遇到的分子的结构信息丢失问题，并通过与 17 个预训练基线
PDFa year ago
使用多模态预训练的检索增强型生物医学视觉问答系统 RAMM
本文介绍了一种针对生物医学问题的图像和文字的多模态预训练和微调方法，该方法使用检索增强来克服数据限制问题，并收集了一个名为 PMCPM 的新生物医学数据集，实现了目前最先进的性能。
PDFa year ago
mPLUG-2：跨文本、图像和视频的模块化多模态基础模型
该论文提出了一种新的多模态预训练统一范式 mPLUG-2，该范式具有模块化设计和通用模块的共享，可以处理多种任务，包括文本，图像和视频的多模态理解和生成，达到了最先进的结果。
PDFa year ago
MM电子商务中基于多模态感知的知识预训练
该论文提出一种名为 K3M 的新方法，通过引入知识模态来进行多模态预训练，以解决实际 E-commerce 场景中的产品数据中存在的多模态噪声和缺失问题，并在真实世界的 E-commerce 数据集和一系列基于产品的下游任务上显示出明显的性
PDF3 years ago
InterBERT：多模态预训练中的视觉 - 语言交互
该论文提出了一种基于多模态预训练的新型模型 InterBERT，通过预训练的方式实现了多个任务，包括掩码片段建模、掩码区域建模和图像与文本匹配，并在视觉和语言下游任务上进行了 fine-tuning，最终实现了基于主题的推荐和基于文本的图像
PDF4 years ago