cross-modal contrastive learning | BriefGPT

关键词cross-modal contrastive learning

搜索结果 - 17

视觉语言与骨骼的融合：逐步蒸馏和跨模态知识用于 3D 动作表示学习
基于骨骼的动作识别的训练方法之一是基于监督学习的独热分类，这需要大量的预定义动作类别注释；而基于自监督学习的方法涉及预处理任务中的骨架变换，可能会损害骨架结构。为了解决这些挑战，我们引入了一种新颖的基于骨骼的训练框架（C$^2$VL），基于
PDFa month ago
CrossVideo: 点云视频理解的自监督跨模态对比学习
本文介绍了一种名为 CrossVideo 的新方法，旨在增强点云视频理解领域的自监督跨模态对比学习。通过利用点云视频和图像视频之间的跨模态关系获取有意义的特征表示，我们提出了一种自监督学习方法来解决数据稀缺和标签获取困难的问题。通过使用单模
PDF5 months ago
AstroCLIP：天体基础模型的跨模态预训练
AstroCLIP 是一种构建天文基础模型的策略，它通过图像和光学星系光谱之间的跨模态对比学习方法实现了高度信息密集的嵌入表达，从而实现了准确的跨模态搜索和有竞争力的零式和少样本预测。
PDF9 months ago
ACL利用伪造的图像标题进行多模态摘要
本文从互信息优化的角度研究了负样本对视觉语言预训练中交叉模态对比学习的影响，并提出了一种渐进式改进的交叉模态相似度对比学习策略，在理论指导下实现了对 (部分) 假负例样本有益和有害效应的平衡，这种方法在四个下游交叉模态任务中表现良好。
PDFa year ago
通过交叉模态相似度调节的对比学习进行视觉语言预训练
本文从互信息（MI）优化的角度研究了预训练中视觉语言交互 (VLP) 面临的（部分）误负样本的挑战，并提出了一种被逐步优化的跨模态相似性约束下的对比学习策略来更加准确地优化图像 / 文本锚点与其负样本的 MI，从而在四个下游跨模态任务中具有
PDFa year ago
动词在行动：提高视频语言模型中动词理解能力
本研究提出了一个新的以动词为中心对比学习（Verb-Focused Contrastive，VFC）框架，以改善基于 CLIP 的视频语言模型的动词理解。该方法采用预训练的大型语言模型（LLMs）创建难样本进行跨模态对比学习，以及实施细粒度
PDFa year ago
看似相似，听起来不同：利用反事实的跨模态样本进行视听表示学习
研究了在音频与视觉之间进行对应时，出现多个音频轨道时的学习效果，探讨了使用配音版本来增加跨模态对比学习的方法，提出了考虑语音变化时学习场景级别的音频视觉对应关系的重要性，并表明配音可以作为训练音频视觉模型的一种有用增强技术。
PDFa year ago
CVPRCLIP2Scene: 基于 CLIP 的高效场景理解
本文介绍了一种简单而有效的框架 CLIP2Scene，通过从二维预训练模型中转移知识到三维点云网络，利用语义和时空一致性正则化来预训练三维网络，实现了三维场景理解任务，并在多个数据集上进行了实验验证，其中包括无注释的 3D 语义分割，mIo
PDFa year ago
EMNLP文本 - 视频检索的标准化对比学习
本研究介绍了一个新的实例归一化方法，通过实例内置偏差计算，实现了跨模态检索中每个实例平等检索与准确表示，提高了文本和视频检索的性能，并在多个数据集上实现了最新的多模态检索指标。
PDF2 years ago
EMNLP跨模态对齐的低资源神经机器翻译
本文提出一种跨媒体对比学习方法，将几种低资源语言与高资源语言相连，通过少量的图像 - 文本对实现神经机器翻译，取得了显著的效果。
PDF2 years ago
MM视频指称理解中的对话问题
研究视频指代表达理解中的两个问题，提出了一种新颖的双重对应网络方法来增强帧间和跨模态的密集关联，以提高视频和图像 REC 基准测试的表现，并进行了全面的剖析研究。
PDF2 years ago
基于图像级别分类和去偏置交叉模态对比学习的开放词汇三维检测
OV-3DETIC 是一个开放式词汇的 3D 点云检测器，使用基于图像的分类监督，并利用伪标签和实现跨模态对比学习方法从 ImageNet1K 扩展了其单词表，从而使点云检测器具有实现开放式词汇检测的能力，并实现了至少 10.77% 的 m
PDF2 years ago
重新思考音频 - 视觉同步以进行活动演讲者检测
本文提出一种跨模态对比学习策略，并在注意力模块中应用位置编码来识别音频和视频之间的同步信号，解决现有 ASD 方法不能识别异步视频导致误报的问题。实验结果表明该方法成功检测到非同步说话，解决了当前模型的局限性。
PDF2 years ago
基于属性信息嵌入和跨模态对比学习的微表情识别
通过属性信息嵌入和跨模态对比学习，基于微表情序列的 RGB 和 FLOW 特征提取和 BERT 网络提取文本信息，实现面部微表情识别，并在 CASME II 和 MMEW 数据库上进行了广泛实验，准确率分别为 77.82% 和 71.04%
PDF2 years ago
ACL跨模态对比学习用于语音翻译
本文提出了一种名为 ConST 的跨模态对比学习方法，用于端到端的语音到文本翻译，并在流行基准数据集 MuST-C 上对其进行了评估和比较。实验结果表明，相比之前的方法，该方法在不同模态语音 - 文本之间实现了更高的精确度和平均 BLEU
PDF2 years ago
CVPR稳健的跨模态表示学习与渐进式自蒸馏
通过交叉模态对比学习以及软图像 - 文本对齐等方法，改进了 CLIP 模型，在处理带有噪声的数据集时能更加高效地学习出具有鲁棒性的表示。经过对 14 个基准数据集的广泛评估，该方法在多种设置下表现均优于 CLIP，并且没有增加计算成本。此外
PDF2 years ago
ACLUNIMO：通过跨模态对比学习实现统一模态理解和生成
本文介绍了一种名为 UNIMO 的统一单模态预训练架构，它可以有效地适应单模态和多模态理解和生成任务，利用大规模自由文本语料库和图像集合来提高视觉和文本理解的能力，并使用跨模态对比学习来将文本和视觉信息对齐到图像 - 文本对的统一语义空间。
PDF4 years ago