语言引导的领域通用分割的简单方法
通过引入视觉 - 语言模型进行知识蒸馏,本文提出了一种新的域泛化方法,称为 RISE (Regularized Invariance with Semantic Embeddings),并通过在多个基准数据集上的实验证明其在域泛化方面的优越性。
Sep, 2023
本研究提出了一种基于视觉 - 语言模型的视觉语义分割方法,通过在源领域进行训练并在未见目标领域进行评估,提高了领域通用性。实验证明,该方法在域通用分割中的性能优于传统的视觉训练方法,取得了 7.6% mIoU 的提升。同时,在主流数据集上取得了 76.48% mIoU 的性能,超过了此前最优方法 6.9% mIoU 的水平。还表明该方法在领域内具有强大的泛化能力,并在当前排行榜上与最优方法并列第一。
Dec, 2023
本文提出了一种新颖的域泛化框架,通过模拟域转化问题与数据分布差异之间的关系以增强模型的泛化能力,从训练策略和测试策略两个不同视角来增强模型的泛化能力。实验证明,该方法在多个基准细分数据集上都取得了最新的前沿成果。
Mar, 2020
通过使用深度视觉提示以解决域不变性问题,结合语言提示以确保类别可分离性,以及自适应权重机制来平衡域不变性和类别可分离性,本文介绍了一种新的提示学习策略,并通过广泛实验证明深度视觉提示有效提取域不变特征,显著提高深度模型的泛化能力,在三个数据集上取得了最先进的性能。
Apr, 2024
本文提出一种使用模拟技术进行自动驾驶场景语义分割的方法,通过域泛化的方式进行测试并实现了高度通用性,其中使用了域随机化和金字塔一致性两种技术,实现了域不变的特征表示。经过在 GTA,SYNTHIA 到 Cityscapes,BDDS 和 Mapillary 的广泛实验,本方法在一些状态和最先进的仿真转现领域自适应方法的测试结果表明,本方法实现了有竞争力、甚至优于其他方法的结果。
Sep, 2019
研究域常规化问题及其解决方法,通过使用基于梯度的元训练和元测试过程,引入了两种补充损失来明确地规范特征空间的语义结构,从而取得了两个常见对象识别基准测试的最新效果。
Oct, 2019
通过对生成图像进行微调,本文研究目的是解决在生成的数据集上微调以特定分类模型的视觉 - 语言模型时所面临的挑战,并提供两种正则化方法来克服实际图像与生成图像之间的领域差异。经过广泛的实验验证,所提出的分析和正则化技术有效减轻了一直被忽视的领域差异,并使得在生成图像上的训练达到了最先进的性能。
Jun, 2024
该论文提出了一种基于元学习框架的新型记忆引导域泛化方法,该方法抽象了语义类别的概念知识,并通过训练多次来学习如何记忆无域和不同的类别信息,并提供外部固定的记忆作为类别指导,以减少任意未见域的测试数据中表示不确定性。通过语义分割的广泛实验,证明了我们的方法在各种基准上具有卓越的泛化能力。
Apr, 2022
本文提出了一种基于自然语言监督的跨模态领域泛化方法,利用视觉和文本交互的表征来实现高级别类别判别的信息融合,并使用可解释的模型来生成解释,从而提高模型的泛化能力和性能。作者的方法在多个数据集上均取得了最新领先的结果。
Jul, 2022
在具有有限训练数据并在分布转变下无法有效推广的情况下,传统的迁移学习方法效果有限。然而,最近的基础模型在分布转变下表现出了令人印象深刻的零样本推理能力和鲁棒性。为了解决这些问题,在此提出了一种适用于流行的视觉 - 语言基础模型 CLIP 的小样本微调方法,并对具有现实分布转变的具有挑战性的基准数据集进行了评估。实验证明,在训练数据供应的各个级别上,与只有视觉的模型相比,少样本 CLIP 微调在内部分布准确性和外部分布准确性方面表现更好,这为在使用真实世界数据的小样本学习应用中采用基础模型提供了强有力的动机。
Nov, 2023