multimodal learning | BriefGPT

关键词multimodal learning

搜索结果 - 163

Speech2UnifiedExpressions: 从可负担的输入同步合成言语情感表情、面部表情和身体表情
使用 RGB 视频数据，我们提出了一种基于多模态学习的方法，可以同时合成数字角色的共语言面部表情和上半身动作。我们的方法从视频数据直接估计稀疏的面部关键点和上半身关节，并根据说话者的面部动作和身体关节动作合成合适的情感角色动作。通过对多个评
PDF4 days ago
探索全模态大规模预训练的极限
我们提出了建立全模态智能的方法，能够理解任何模态并学习通用表示。通过提出一种可扩展的预训练模式 —— 多模态上下文（MiCo），我们能够在预训练过程中扩大模态数量、数据量和模型参数。MiCo 预训练模型在多模态学习中展现出重要的新能力，并在
PDF17 days ago
只需缩放和平移
通过特征对齐的方法，在联合特征空间中通过模态之间的特征迁移和特征扩展实现了多模态信息的完全整合，从而可靠地捕获来自不同模态的特征之间的高级相互作用，并在多模态学习性能上取得了显著的提升。对包含时间序列、图像和文本的多模态数据集进行了广泛的实
PDF17 days ago
统一建模增强的精准神经肿瘤多模态学习
通过使用一种层次化注意结构，我们介绍了一种统一建模增强多模态学习（UMEML）框架，该框架整合了组织学图像和基因组学，以在显微镜级别和分子级别上实现对肿瘤的精确治疗，并通过利用两种模态的共享和互补特征有效地进行建模。
PDF19 days ago
Vript: 一部视频胜过千言万语
通过使用 Vript 数据集，我们提出了 Vriptor 模型，它是一个功能强大的视频字幕生成模型，能生成密集详细的长视频字幕；此外，我们还介绍了 Vript-Hard，一个包含三个更具挑战性视频理解任务的基准测试集。
PDF20 days ago
处理所有阶段缺失的形式：朝着具有健壮重建和个性化能力的通用模型
提出了一种具有模态重建和模型个性化的健壮的通用模型，能够在训练和测试阶段有效地处理缺失的模态，通过多模态掩码自编码器重构缺失的模态和掩码补丁，利用创新的分布近似机制充分利用完整和不完整的数据，提出了基于 CLIP 的超网络来个性化模型参数，
PDFa month ago
自动融合多模态深度学习用于植物识别
利用多模态深度学习方法，将植物的花朵、叶子、水果和茎的图像整合成一个连贯的模型，实现了对 PlantCLEF2015 数据集 956 个类别的植物进行自动分类，准确率达到 83.48%，超过了现有方法 11.07% 的性能。
PDFa month ago
从头学习多模态行为的扩散策略梯度
本研究提出了深度扩散策略梯度（DDiffPG）算法，它能够学习参数化为扩散模型的多模态策略，并通过聚类和内在动机探索来发现和维持多样化行为，同时减少强化学习的贪婪性质，实现了模态之间的均衡改善以及对学习模态的显式控制。经验证明，该算法在复杂
PDFa month ago
Ovis: 多模型大型语言模型的结构嵌入对齐
通过结构对齐视觉和文本嵌入，提出了一种名为 Ovis 的新的多模态大型语言模型体系结构，以捕捉图像的丰富语义，并在各种多模态基准测试中表现出优越性能，从而推动了多模态学习的更有效进展。
PDFa month ago
ICMLMMPareto：通过无害单模态辅助提升多模态学习
多模态学习中存在之前被忽视的多模态与单模态学习目标之间的梯度冲突问题，本文提出了 MMPareto 算法来解决这一冲突，以提高泛化性能和单模态学习的精确度，实验证明了算法的优越性及可扩展性。
PDFa month ago
多语种多样性增强视觉 - 语言表示
使用多语言数据集进行预训练可以提高在多个视觉任务中的性能，包括对非英语数据的使用，以及增加地理多样性任务中非洲地区的表现。
PDFa month ago
动物行为基于时间性的定位恢复训练
提出了一种新颖的位置恢复训练框架（Port），该框架在动物行为数据中解决了时间定位的挑战，通过基于真实信息的重建部分和双重对齐方法，使模型能够专注于特定的时间区域。在动物王国数据集上的大量实验表明，Port 的有效性，其在 ICME 202
PDF2 months ago
可解释的张量融合
传统机器学习方法主要用于基于单一数据类型进行预测，然而实际应用可能涉及各种类型的数据，如文本、图像和音频。我们引入了可解释的张量融合（InTense），这是一种多模态学习方法，用于训练神经网络同时学习多模态数据表示和其可解释的融合。InTe
PDF2 months ago
AutoGluon-Multimodal (AutoMM): 为基础模型提供动力的多模态 AutoML
AutoGluon-Multimodal 是一款用于多模态学习的开源 AutoML 库，通过只使用三行代码即可对基础模型进行微调。该库支持独立和组合的图像、文本和表格数据多种形式，并提供了全面的功能套件，包括分类、回归、目标检测、语义匹配和
PDF2 months ago
VL-Mamba: 多模式学习中的状态空间模型探索
通过基于状态空间模型的 VL-Mamba 多模态大语言模型和 2D 视觉选择扫描机制以及不同视觉编码器和预训练 Mamba 语言模型的组合的实证研究，我们证明了状态空间模型在多模态学习任务中具有巨大潜力，并展示了 VL-Mamba 在各种多
PDF3 months ago
惯性测量单元基于跨模态迁移学习在人体活动识别中的调查
人类行为 / 动作识别中，通过跨模态转移学习，介绍了人工智能模型、IMU 数据和多模态学习的重要性以及它们的应用潜力。
PDF3 months ago
从像素到预测：频谱图和视觉变换器用于更好的时间序列预测
通过使用时间频谱图作为时间序列数据的可视表示，使用视觉变换器进行多模态学习的一种新方法，与统计基线、深度学习方法、其他视觉表示方法和只使用时间序列作为输入的研究进行对比，表明利用频谱图作为时间序列数据的可视表示具有优势，并且同时学习时间和频
PDF3 months ago
CVPRDiaLoc：一个迭代式的具身对话定位方法
DiaLoc 是一种新的基于对话的定位框架，通过迭代细化位置预测来可视化每次对话后的当前姿态，有效地利用多模态数据进行分步定位。DiaLoc 在单次拍摄（ValUnseen 准确率 + 7.08%）和多次拍摄（ValUnseen 准确率 +
PDF4 months ago
面向结构化和非结构化数据的模块化端到端多模态学习方法
多模态学习是一个快速发展的研究领域，它在人工智能中的多任务处理和生成建模方面产生了革命性的影响。本文提出了一种名为 MAGNUM 的模块化端到端多模态学习方法，能够原生地处理结构化和非结构化数据，且灵活性足够高以适应任何专门的单模态模块来从
PDF4 months ago
使用深度学习技术的单模态和多模态超光谱图像分析
应用深度学习技术来处理高光谱影像的挑战，如高维度和有限空间分辨率，并通过多模态学习整合雷达和合成孔径雷达数据以提高空间分辨率。此外，采用对抗学习和知识蒸馏来解决领域差异和缺失模态的问题。通过自监督学习方法应对有限的训练样本，并通过降维的自动
PDF4 months ago