cross-modal distillation | BriefGPT

关键词cross-modal distillation

搜索结果 - 15

通过双重去噪从 CLIP 学习稳健的 3D 表示
本文探讨了一个关键但鲜为人知的问题：如何从预训练的视觉语言模型（如 CLIP）中学习到稳健且良好泛化的 3D 表示。我们提出了 Dual Denoising 框架，通过将基于去噪的代理任务与新颖的特征去噪网络相结合，从 CLIP 中学习鲁棒
PDF3 days ago
PartDistill: 视觉语言模型蒸馏下的三维形状部分分割
该研究提出了一个跨模态蒸馏框架 PartDistill，将二维视觉 - 语言模型的知识转移给三维形状的部分分割，通过解决三个主要挑战（二维投影中不可见或未检测区域的三维分割缺失、VLM 的二维预测不准确和不一致、不同三维形状之间的知识积累不
PDF7 months ago
ICCVTinyCLIP: CLIP 蒸馏通过亲和力模仿和权重继承
本文提出了一种新颖的跨模态蒸馏方法，称为 TinyCLIP，用于大规模语言 - 图像预训练模型，通过亲和仿真和权重继承两种核心技术，在视觉 - 语言亲和空间中模拟模式之间的交互，将预训练模型的权重传递给学生模型以提高蒸馏效率，并通过多阶段渐
PDF9 months ago
ACLAV-TranSpeech: 音视觉鲁棒语音 - 语音翻译
AV-TranSpeech 是第一种不依赖中间文本的视听信息补充模型，通过自监督预训练和跨模态蒸馏，可以有效提高低资源视听数据的语音转换性能。
PDFa year ago
通过跨模态蒸馏和超体素聚类进行三维点云的无监督语义分割
本文提出了一个名为 PointDC 的新型分割框架，通过两个阶段的处理（CMD 和 SVC），实现在不使用任何形式的注释的情况下的点云全自动无监督语义分割。该框架在 ScanNet-v2 和 S3DIS 两种数据集上均优于以往的无监督学习方
PDFa year ago
鲁棒的跨模态知识蒸馏技术应用于不受限制的视频
本论文提出了模态噪声过滤和对比语义校准的跨模态蒸馏方法，可以显著提高视觉动作识别和视频检索的性能。
PDFa year ago
CVPR基于 RGB 的时间动作检测的交叉模态分解蒸馏
本文介绍了一种基于交叉模态蒸馏的分解式跨空间学习框架，通过学习 RGB 和运动表征并结合两者来完成动作定位，极大地提高了基于 RGB 的动作检测器的性能，该框架不受骨干网络和检测头的影响。
PDFa year ago
通过分层蒸馏将预训练语言模型中的知识转移到基于 Cif 的语音识别器
该论文研究了如何利用预训练语言模型来提高自动语音识别的性能，提出了基于分层知识蒸馏的方法，并使用交叉模态蒸馏和对比损失以及回归损失来跨语言层面和声学层面校准自动语音识别模型，实现了相对误差率降低 15％，并且达到了同类最先进模型的性能。
PDFa year ago
AAAIStereoDistill: 从 LiDAR 中精选要素，用于精炼基于立体视觉的三维物体检测
本文提出了一种跨模态蒸馏方法 StereoDistill，通过在响应级别上从优秀的 LiDAR 模型中提取立体探测器，缩小了立体和基于 LiDAR 的方法之间的差距，其中的关键设计是：用于回归的 X 组件引导蒸馏（XGD）和用于分类的交叉锚
PDFa year ago
从 EEG 到红外视频的跨模态蒸馏：看见你的睡眠阶段
本文提出了使用红外视频来识别睡眠阶段，通过将 EEG 知识提炼至视觉信息的方法来实现。为了建立一个坚实的跨模态基准，作者还开发了一个新数据集（S3VE），包括 105 个受试者和 154,573 个视频剪辑，达 1100 个小时长。使用基于
PDF2 years ago
MM热红外跟踪的无监督跨模态蒸馏
本研究提出利用跨模态蒸馏技术从大量无标签 RGB-TIR 数据中提炼 TIR 模态的目标表示，作为热红外追踪的优化方法，并利用 RGB 和 TIR 图像中的语义信息进行 “蒸馏损失” 的监督学习，成功地推广到 LSOTB-TIR 和 PTB
PDF3 years ago
语音到视频生成的跨模态蒸馏技术（Speech2Video: Cross-Modal Distillation for Speech to Video Generation）
这篇研究论文介绍了一种仅基于语音生成说话脸部视频的全新方法，并提出了一种轻量级的跨模态蒸馏方法，这种方法能够从未标记的视频输入中提取出情感和身份信息，然后使用对抗生成网络将提取的特征整合到说话脸部视频片段中，实验结果表明这一提出的框架能够从
PDF3 years ago
双耳声音的语义物体预测和空间声音超分辨率
本文介绍了一种基于双耳声音的声音制造对象的语义标记方法，利用跨模态蒸馏框架让视觉和听觉系统相互学习，形成多任务训练网络等手段提高系统的性能。
PDF4 years ago
ASR 是你所需要的：用于唇读的跨模态蒸馏
本研究旨在使用自动语音识别模型进行视觉语音识别的强化学习，通过跨媒体蒸馏方法将 Connectionist Temporal Classification（CTC）与逐帧交叉熵损失相结合，以无标注的视频数据来提高效果和速度，并在 LRS2
PDF5 years ago
野外情感语音识别中的跨模态转移
本篇研究提出一种基于面部表情的情感识别的无监督学习方法，通过跨模态蒸馏将面部表情标注传递到语音领域，用于语音情感识别，实现了在未标注音频数据下学习语音情感表示的目标。
PDF6 years ago