我们提出了一种简单的方法，将视觉基础模型（如 CLIP 和 Segment Anything Model）高效地合并成一个统一的模型，以便于边缘设备应用，并能够在广泛的视觉任务中学习富含定位和语义特征的更丰富的视觉表示，同时在零样本语义分割方面取得了新的最先进结果。

Oct, 2023

本研究提出了一种名为知识聚合的新型模型复用任务，旨在从多个训练好的教师网络中提取知识，学习一种能够处理综合分类的轻量级学生模型，取得了很好的结果。

Nov, 2018

Vision-Language to Vision-Align, Distill, Predict (VL2V-ADiP) is a proposed approach that aligns vision and language modalities to distill pre-trained features and superior generalization for state-of-the-art results in Domain Generalization using Vision-Language Models like CLIP.

Oct, 2023

本文提出一种基于多领域音频模型的教师 - 学生训练框架，成功地构建了一个应用于多个领域的音频模型，通过对两种不同域名的语音风格实验验证效果，取得了比基线模型（多条件模型）更好的结果，相对字符错误率提高达到了 10.4%。

Jul, 2019

通过采用层次化合并方法和周期性学习率调度器，本研究在医学图像领域得到显著的性能提升，比模型组合方法在多个数据集上（如 HAM10000 和 CheXpert 数据集）提高了 6%，同时保持了低的计算成本。

Mar, 2024

大型视觉语言模型（VLM）如 CLIP 在无监督域自适应任务中表现出良好的零样本学习性能，为了充分利用语言和视觉之间微妙的相互作用，本文引入了一种统一的模态分离（UniMoS）框架进行无监督域自适应，通过利用模态间差异研究的见解，我们设计了一种灵活的模态分离网络，将 CLIP 的特征明确地分解为与语言相关和与视觉相关的部分，我们提出的模态集成训练（MET）方法促进了模态无关信息的交换，同时保留了模态特定的细微差别，通过模态鉴别器在域间进行特征对齐，我们全面评估了三个基准数据集，结果显示我们的方法以极小的计算成本取得了新的最先进水平。

Mar, 2024

本研究使用预先训练的网络作为示范，旨在学习一种能够整合各种异构结构教师的多才多艺、轻量级的学生模型，而无需获取任何人工注释信息。为此，提出了一种通用的特征学习方案，所有教师的特征都被转换成共同的空间，并且要求学生模型模仿他们的所有特征，以使完整的知识得以融合，并在一系列基准测试中证明所提出的方法的良好性能。

Jun, 2019

本文提出一种创新的方法，将不同领域和不同设备的模型整合成一个统一的模型，使用领域嵌入、领域专家、专家混合和对抗性训练来提高整体统一模型的准确性，并通过仔细的消融研究表明每个创新的好处，实验证明我们提出的统一建模方法实际上优于精心调整的专业领域模型。

May, 2022

大规模视觉语言模型（VLMs）展示了对未见域数据具有强大的零样本泛化能力。然而，适应预训练的 VLMs 并执行一系列下游任务时，它们容易忘记以前学到的知识并降低其零样本分类能力。为解决这个问题，我们提出了一种独特的选择性双教师知识迁移框架，利用最新的精细调整和原始的预训练 VLMs 作为双教师来保留以前学到的知识和零样本能力。通过仅访问未标记的参考数据集，我们提出的框架通过测量双教师 VLMs 的特征差异来执行选择性知识蒸馏机制。因此，我们的选择性双教师知识蒸馏将缓解以前学到的知识的灾难性遗忘，同时保留预训练 VLMs 的零样本能力。通过对基准数据集进行大量实验，我们证明了我们的提出的框架对于防止灾难性遗忘和零样本退化的最新持续学习方法是有利的。

Mar, 2024

本篇研究介绍了一种对于大型视觉 - 语言模型进行压缩的方法，该方法利用蒸馏和剪枝技术，通过知识蒸馏和模态自适应剪枝等手段来获取一个更快、更小但更准确的模型。最终得到的 EfficientVLM 模型仅含有 9300 万个参数，具有 98.4％的性能表现，并在各种视觉 - 语言任务中取得了令人瞩目的结果。

Oct, 2022