multimodal training | BriefGPT

关键词multimodal training

搜索结果 - 8

PIN：一种适用于配对和交错多模态文档的知识密集数据集
最近，对大型多模态模型（LMMs）的最新进展借鉴了丰富的多模态数据集，以增强复杂的知识驱动任务的能力。然而，感知和推理错误的持续挑战限制了它们的效力，尤其是在解释复杂视觉数据和推断多模态关系方面。针对这些问题，我们引入了一种新颖的数据集格式
PDF16 days ago
JEP-KD：基于联合嵌入预测架构的知识蒸馏用于视觉语音识别
此研究介绍了一种先进的知识蒸馏方法，使用联合嵌入预测架构（JEPA），命名为 JEP-KD，旨在更有效地利用音频特征进行模型训练，以缓解视觉语音识别（VSR）任务的挑战，并展示了其在不同 VSR 平台上显著改善模型性能的潜力。
PDF4 months ago
4M：大规模多模态蒙版建模
通过提出一种名为 4M 的多模态训练方案，将文本、图像、几何和语义模态，以及神经网络特征图等多种输入 / 输出模态统一到一个 Transformer 编码器 - 解码器模型中进行训练，论文展示了 4M 在训练多功能且可扩展的视觉基础模型方面
PDF7 months ago
多模态 Transformer 改进单模态推理
通过多分支架构和多模态训练，本文提出一种改进单模态模型性能的方法，通过多任务目标，强大的多模态分支将其知识传递给较弱的单模态分支，从而提高了单模态模型的性能。该方法在手势识别、情感识别和情感分析任务上优于传统训练的单模态模型，并观察到优化单
PDF8 months ago
在大型语言模型中种下一个愿景的种子
本文介绍了 SEED，一种复杂的图像分词器，可使大型语言模型同时有看和画的能力，并提出了两个重要的原则，以有效地便于将 SEED 与 LLMs 对齐。
PDFa year ago
如何将预训练的视觉语言模型改编为仅文本输入模式？
为了找到最好的方法来将视觉和语言 (VL) 多模态预训练模型适应于仅文本输入，我们研究并比较了适应 VL 模型到文本输入的七种可能的方法。我们的评估结果表明，对于零样本文本 - only 任务，VL 模型需要小心适应，而对于非零样本任务，模
PDF2 years ago
基于骨架的动作识别语言监督训练
本研究提出了一种基于骨架的动作识别的语言监督训练方法。该方法利用了大规模的语言模型作为知识引擎，生成描述动作的文本描述，为不同的身体部位生成特征向量，并通过语言编码器监督骨架编码器进行动作表示学习，相对于其他模型，达到了新的技术水平。
PDF2 years ago
EMNLP章鱼的世界：报道偏见如何影响语言模型对颜色的感知
本文研究了文本预训练的固有局限性，提出了报告偏差作为该限制的原因之一，并分析了多模态训练在解决该问题方面的效果。研究使用了 Color Dataset 并比较了文本中的颜色分布，语言模型捕获的分布以及人类感知中的颜色分布，结果表明文本中的
PDF3 years ago