Jan, 2024

解放任务无关数据潜力的源自由跨模态知识转移

PDF
TL;DR提出了一种利用配对的非任务相关数据进行增强源无关跨模态知识转移的新颖且简洁的框架，采用任务 - 无关数据引导模态连接模块（TGMB）和任务 - 无关数据引导知识转移模块（TGKT）来实现从源模型到目标模型的知识转移，并结合自监督伪标签方法提升目标模型的学习效果。
source-free cross-modal knowledge transferpaired ti datatask-irrelevant data-guided modality bridging (tgmb)task-irrelevant data-guided knowledge transfer (tgkt)self-supervised pseudo-labeling approach
发现论文，激发创造
  • 知识作为先验：跨模态知识泛化在无优先知识数据集上

    本文提出了一种名为 “跨模态知识普适” 的新方法，将一个以高级模态（教师）训练的模型中的知识传递给以较弱模态（学生）训练的另一个模型，同时不需要在教师数据集中配对数据。通过在参数上建模知识，来将源数据集中积累的跨模态知识泛化到目标数据集，最终在标准基准数据集上展示了 3D 手势估计的竞争性表现。

    Apr, 2020

  • 无源域适应方法在 RGB-D 语义分割中的应用：基于 Vision Transformers

    研究基于深度传感器的多模态框架和基于视觉变换器的源自由语义分割的深度感知方法，通过混合特征和深度信息以及深度基础熵最小化方法，能够提高分割效果。

    May, 2023

  • SUMMIT: 单模型无源适应到多模态目标

    我们提出了一种通过自动选择两种互补的交叉模态伪标签融合方法（一致性过滤和熵加权），来解决在没有访问原始源数据集的情况下，将在单模数据上独立训练的一组模型调整到由未标记的多模数据组成的目标领域的问题。

    Aug, 2023

  • 零样本跨模态数据翻译：基于互信息引导的随机扩散

    本文提出了一个名为互信息指导扩散的跨模态数据翻译模型（MIDiffusion）来解决零样本学习交叉模态数据翻译的基本挑战，该方法不需要基于源与目标领域的直接映射，且在实践中应用跨模态数据翻译方法具有优势。

    Jan, 2023

  • 多模态信息瓶颈下的非配对式图像语音合成

    本篇研究使用深度生成模型解决一种新的问题，即无配对数据下，跨模气物体生成的问题，该研究提出了一种跨模态生成方法，称为 skip-modal generation。通过学习共享模态下的多模概念瓶颈方法，该法实现了基于图片生成语音的跨模态生成，并在此基础上改进了传统的跨模态生成方法，证明了其在提高数据效率方面的优点。

    Aug, 2019

  • 将图像蒸馏至虚无：用反演知识蒸馏进行多模式机器翻译

    IKD-MMT 提出了一种新的多模式机器翻译框架，通过知识蒸馏技术支持无图像干扰的推理阶段，并在 Multi30k 基准测试中取得了最先进的结果。

    Oct, 2022

  • 多模态路径：利用其他模态的无关数据改进 Transformer

    我们提出了一种名为多模态路径的方法，通过利用其他模态的无关数据来改进特定模态的 transformers，从而实现了显著且一致的性能提升。

    Jan, 2024

  • 热红外跟踪的无监督跨模态蒸馏

    本研究提出利用跨模态蒸馏技术从大量无标签 RGB-TIR 数据中提炼 TIR 模态的目标表示，作为热红外追踪的优化方法，并利用 RGB 和 TIR 图像中的语义信息进行 “蒸馏损失” 的监督学习，成功地推广到 LSOTB-TIR 和 PTB-TIR 数据集中，比基线跟踪器的绝对增益显著。

    Jul, 2021

  • 跨模态迁移的学习模态知识对齐

    通过进行一系列实验，本研究揭示了模态间差距与知识重用程度之间的关联，定义了作为模态知识差异的知识不匹配性，并提出了模态知识对齐元学习方法（MoNA）来减小模态间的知识差异，实验证明该方法可以在跨模态迁移中更好地重用源模态知识，并改进现有的微调方法。

    Jun, 2024

  • 寻找最具转移潜力的脑图像分割任务

    本文提出了一种基于先验知识和可转移性的框架来选择最好的源任务，在收集到的多个脑图像分割任务中进行选择，以提高给定目标任务的转移学习性能。在脑物质、脑肿瘤和白质高信号异常分割数据集上进行的实验表明，从相同模态下的不同任务转移通常比从不同模态下的同一任务转移更成功。此外，在相同模态下，从具有与目标任务更强的 RoI 形状相似性的源任务转移可以显着提高最终的转移性能，并且可以使用标签空间中的结构相似度指数来捕获这种相似性。

    Jan, 2023