multi-modal alignment | BriefGPT

关键词multi-modal alignment

搜索结果 - 8

鉴别器引导的合作扩散用于联合音频和视频生成
通过利用预训练的单模态音频和视频生成模型，我们旨在构建一个计算成本最小化的音频 - 视频生成模型。为了实现这一目标，我们提出了一种新方法，通过引导每个单模态模型来协作生成跨模态对齐的样本。我们在几个基准数据集上的实证评估表明，我们的方法改进
PDFa month ago
将动作与行走与由 LLM 生成的文本描述对齐
本研究探讨了使用大型语言模型 (LLMs) 生成丰富文本描述来描述包括动作和步行模式的运动序列，旨在提高动作识别与根据外观属性检索步行序列的能力，通过应用 LLMs 生成动作的文本描述和运用 LLMs 生成从 DenseGait 数据集中的
PDF3 months ago
FSMR：一种基于特征交换的多模态推理方法，结合文本和视觉线索
该论文介绍了一种名为特征交换多模态推理（FSMR）模型的方法，通过特征交换来增强多模态推理，提供了图像和文本的有效特征表示，并加强了模型对图像和文本之间相互作用的理解，通过多模态交叉注意机制实现了文本和视觉信息的联合建模，实验证明 FSMR
PDF3 months ago
RECAP: 检索增强音乐字幕生成器
通过对多模态数据的构建和深度学习模型的训练，本文提出了一种在音频和歌词之间学习对准关系的方法，并通过此方法优化跨模态对齐，并为音乐搜索和推荐提供了理论和实证结果。
PDF2 years ago
ECCVEgo4D 自然语言查询挑战 2022 中的高效粗 - 细对齐框架
本技术报告介绍了 ECCV 2022 中 Ego4D 自然语言查询（NLQ）挑战的 CONE 方法。该方法利用了 COarse-to-fiNE 对齐框架，通过对比学习学习了粗粒度语义方差，同时利用对比视觉 - 文本预训练模型 EgoVLP
PDF2 years ago
CONE：一种针对长视频时间对齐的高效粗到细对齐框架
本文提出了一种名为 CONE 的窗口层级的粗细粒度多模态对齐框架，该框架通过使用对比学习进行识别候选窗口和排名候选时刻，从而提高视频时序定位的精确度和效率，在两个大规模视频时序定位基准测试中均取得了业界最佳成果。
PDF2 years ago
从特征和样本的视角重新思考视频问答中的多模态对齐
本论文提出一种基于多模态对齐、轨迹特征、层次化框架和训练数据扩充的视频问答方法，并在 NExT-QA 基准测试上表现出很高的性能。
PDF2 years ago
ACL视觉语言导航的多模态判别模型
本论文提出了一种使用多模态对齐的鉴别器来评估视觉和语言导航任务中的自然语言指令，以及通过预训练组件暖启动 VLN 代理以改善其在以前看不见的环境中的表现的方法。
PDF5 years ago