multi-modal model | BriefGPT

关键词multi-modal model

搜索结果 - 14

生物基础模型之间的多模态迁移学习
我们提出了一个多模态模型，通过利用来自不同预训练模态特定编码器的信息将 DNA、RNA 和蛋白质连接起来，展示了该模型在预测多个 RNA 转录本的表达差异方面的能力，同时在多个模态之间实现了高效的知识传递，为新的多模态基因表达方法铺平了道路
PDF16 days ago
PM2: 一种新的提示多模型模型范式用于少样本医学图像分类
在医学图像分类中，提出了一种基于多模型基础模型的新的提示多模型模型范例（PM2），通过多种提示方案以及线性探测技术，PM2 能够有效地应对医学图像分类的挑战并取得了最先进的性能。
PDF3 months ago
MMCert：多模态模型的可证明防御机制抵御对抗攻击
提出了 MMCert，这是对多模态模型实施机器学习攻击的第一个认证防御方法，并通过实验结果显示其优于现有认证方法。
PDF3 months ago
基于参数高效的 3D 点云理解的提示学习
该研究提出了一种参数高效的提示调优方法（称为 PPT），用于适应大型多模态模型的 3D 点云理解。通过 PromptLearner 模块和 PointAdapter 模块，在提高参数效率的同时增强了对 3D 点云理解的提示调优能力，实验证明
PDF4 months ago
语音与文本情感识别器
情感计算是一门研究领域，专注于开发能够理解、解释和响应人类情感的系统和技术。本研究主要针对公开可用的情感标签数据集稀缺和不平衡的问题，通过合并这些数据集以及采用各种语音数据增强技术构建了一个均衡的语料库，并在语音情感识别方面尝试了不同的架构
PDF7 months ago
Myriad: 應用視覺專家進行工業異常檢測之大型多模態模型
提出了一种应用视觉专家进行工业异常检测的新型大型多模型（Myriad）模型，通过使用视觉专家的先验知识嵌入到大型语言模型中，实现了明确的异常检测和高质量的异常描述。
PDF8 months ago
KDDM3PT: 用于 POI 标签的多模态模型
本文提出了一种融合文本和图像信息的多模态 POI 标注方法 (M3PT)，通过领域自适应图像编码器 (DIE) 和文本 - 图像融合模块 (TIF) 以及对比学习策略，实现了更好的 POI 标注效果，作者在阿里飞猪的真实商务场景构建了两个高
PDFa year ago
通过冻结大型语言模型实现零样本视频问答
本研究提出一种简单而有效的 Retrieving-to-Answer 框架，通过预先训练的多模态模型从通用文本语料库中检索到一组语义上相似的文本，再与问题一起使用大型语言模型产生答案，可以在多个 VideoQA 基准测试中达到较高水平，并且
PDFa year ago
CLIP3Dstyler: 语言引导的 3D 任意神经风格迁移
本文提出了一种新的基于语音指导的三维任意神经风格转移方法，通过改进方案解决了传统 2D 和 3D 方法不能解决的问题，匹配点云和语音的不同特征，并提高文本风格可辨别性，在多个场景下实现了高效的风格迁移。
PDFa year ago
基于层次融合的多模态电子商务产品分类
本研究提出了一种多模态模型，通过使用多个神经网络模型从文本（CamemBERT 和 FlauBERT）和视觉数据（SE-ResNeXt-50）提取的特征，并采用简单的融合技术，显著提高了单一模态模型的性能和类似模型性能，我们实验了多种融合技
PDF2 years ago
基于 3D 增强的对比知识蒸馏，用于基于图像的物体位姿估计
该研究论文提出了一种基于图像的物体姿态估计方法，利用多模态方法学习的 3D 知识通过对比知识蒸馏框架有效地转移给单模态模型，使其在没有 3D 信息的情况下提升物体姿态估计准确率，实验证明了该方法的有效性。
PDF2 years ago
ACL快速检索、智能重新排名：协作和联合方法改进跨模态检索
本文提出了一种基于 fine-tuning 的框架，将任何预先训练的文本 - 图像多模态模型转换为高效的检索模型，并通过 cooperative retrieve-and-rerank 方法结合双网络和交叉编码器，实现更准确、更高效的跨模态
PDF3 years ago
跨模态潜在空间的编码嵌入：面向端到端口语理解
本文提出使用多模型、跨模态潜空间以及三元组损失函数来提高端到端语音理解的性能。
PDF4 years ago
条件生成对抗网络
本文介绍了一种新颖的生成模型 —— 条件生成对抗网络，可以通过给生成器和判别器同时提供我们希望对条件进行的数据 y 来构建。本文展示了这个模型可以根据类别标签生成 MNIST 数字，并提供了一个多模态的模型应用示例，演示了如何生成不属于训练
PDF10 years ago