cross-modality alignment | BriefGPT

关键词cross-modality alignment

搜索结果 - 9

TimeCMA: 基于 LLM 的时间序列预测协同模态对齐
基于大规模语言模型和交叉模态对齐，提出了 TimeCMA 框架，用于多变量时间序列预测，实验证明其准确性和高效性。
PDFa month ago
X-VILA: 大型语言模型的跨模态对齐
X-VILA 是一种全模式模型，通过结合图像、视频和音频模态来扩展大型语言模型（LLMs）的能力，实现跨模态的理解、推理和生成。在此基础上，通过一个有效的交错的任意 - 任意模态指令跟踪数据集以及一种视觉嵌入高速公路模块，解决了当前交叉模态
PDFa month ago
SQ-LLaVA: 大规模视觉语言助手的自问自答
近期视觉语言模型的进展在视觉指导调整后，在视觉语言任务中展现了显著的泛化能力。这篇论文通过利用视觉指导数据中被忽视的上下文信息，训练模型进行自我监督学习以提问高质量问题，引入了称为 SQ-LLaVA 的新框架。SQ-LLaVA 在分析视觉线
PDF4 months ago
CVPRRadarDistill：通过从激光雷达特征进行知识蒸馏，提升基于雷达的物体检测性能
通过使用 LiDAR 数据，RadarDistill 提出了一种新的知识蒸馏（KD）方法，可以改善雷达数据的表示，成功地将 LiDAR 特征的理想特性转移到雷达特征中，从而实现了基于雷达的物体检测任务的最先进性能，并显著改进了相机 - 雷达
PDF4 months ago
MCAD: 多教师跨模态对齐蒸馏以实现高效的图像 - 文本检索
使用多教师跨模态对齐蒸馏技术 (MCAD)，通过在双流模型中融合单流特征提高学生模型的检索性能，同时实现高效的图像 - 文本检索任务，降低模型大小和终端设备部署的复杂性。
PDF8 months ago
ICCV超几何音频 - 视觉零样本学习
音频 - 视频零样本学习通过使用双模态数据进行超几何学习，探索更复杂的层次化数据结构，实现曲率感知，从而在 VGGSound-GZSL、UCF-GZSL 和 ActivityNet-GZSL 三个数据集上实现了 3.0%、7.0% 和 5.
PDF10 months ago
CVPR3DQD: 基于部分离散扩散过程的通用深度三维形状先验
本篇论文提出了一个通用的 3D 形状模型生成模型，采用向量量化变分自编码器、离散扩散生成器和多频率融合模块等技术，实现了高保真度、多样性以及跨模态对齐等功能，能够应用在点云补全和多种 3D 形状生成任务中，实验证明其在各种任务中都表现出较高
PDFa year ago
通过跨模态梯度协调扩展多模态预训练
本文讨论了跨模态对齐的效果和问题，提出了通过梯度调整和基于梯度的课程学习解决梯度冲突的方法，并将其应用于视频音频文本模态的预训练中以提高性能。
PDF2 years ago
MILES: 注入语义来实现视频文本检索的视觉 BERT 预训练
本文应用了基于遮蔽的视觉建模（Masked visual modeling）技术在双编码器（dual-encoder）架构下进行视频文本预训练，并利用额外的视频编码器作为 “tokenizer” 去产生预测目标，并通过在空间和时间维度上进行
PDF2 years ago