少样本分类的高效微调领域内多样化合成
通过在大型语言模型和 CLIP 的辅助下,使用生成模型生成合成训练图像来解决类名的歧义性、缺乏多样性的问题,并利用域适应技术和辅助批归一化来减轻领域偏移,以更好地提升模型识别性能。
Dec, 2023
提出了一种名为 Selective Domain-Invariant Feature (SDIF) 的新型框架,通过融合内容特征和样式来减少对面部伪造的敏感性,并使用动态特征提取模块生成具有多样样式的特征,最终使用领域分离策略来帮助区分真实和伪造的面部。在现有基准和提案中的定性和定量结果证明了我们方法的有效性。
Mar, 2024
本文提出了一种基于结构内容的无监督领域自适应语义分割方法,通过 Domain Invariant Structure Extraction (DISE) 框架实现跨领域图像转换和标签转移,大量实验证明该方法在无标注数据情况下具有更高的分割性能。
Mar, 2019
本文提出了一种基于风格转移的语义对齐增强框架(SASA),以解决面部反欺诈系统(FAS)中 Few-Shot Domain Expansion 的问题,其中包括少量目标域训练样本以及大量源域训练样本。该框架通过基于真实感的风格转移生成辅助样本,并提出了设计良好的机制来实现两个域的实例级别和分布级别的对齐,并通过少遗忘的约束来稳定源域上的性能。实验结果表明,所提出的 SASA 方法优于现有的方法。
Jun, 2021
通过对于一种现有的照片风格转换算法进行简单的修改,本文展示了应用于真实图像时的深度神经网络有效利用合成数据的方法,提高了合成图像到真实图像的领域适应性。我们在语义分割和物体检测的四个合成到真实的任务上进行了广泛的实验验证,展示了我们的方法在基于分割和物体检测的度量方面超越了任何当前的基于 GAN 的图像翻译方法的性能。此外,我们还通过距离分析方法,展示了我们的算法在缩小他们之间距离并且将合成数据转换为真实数据方面得到的显著效果。
Jul, 2018
我们提出了一种插拔式特征增强方法,称为 LDFS(语言引导的多样特征合成),通过合成新领域特征和改进现有的 CLIP 微调策略,从未见过的领域中提高 CLIP 的泛化能力,而无需从这些领域收集数据。
May, 2024
本文提出了一种在仅有图像数据集的情况下预训练文本到图像生成模型的新方法,通过检索和优化过程综合生成伪文本特征,可以灵活应用于各种情境和模型,并在实验中表现出显著的效果,GAN 模型在完全监督的情况下得到了 6.78 的 FID,是 GAN 最新的 SoTA 结果。
Oct, 2022
通过增量学习和领域不变表示,以及基于多角度知识蒸馏方法的特征级和标签级正则化,我们的研究提出了一种新型增强型 deepfake 检测模型,通过选择中心和困难样本来更新回放集,并取得了 7.01 的平均遗忘率和 85.49 的平均准确率。
Sep, 2023
本文提出了一种基于语言引导对比学习的合成图像检测方法,通过添加文本标签来进行联合文本 - 图像对比学习进行取证特征提取,并将合成图像检测问题制定为一种识别问题。该方法在准确性和 AUC 指标上明显优于同类问题的现有方法。
May, 2023
本文介绍了一种通过聚类来提高 Few-shot 分类领域适应性的归纳框架 DaFeC,其独特之处在于不需要全面访问测试数据,而是通过构建表示提取器并结合聚类矿工来得到伪标记数据,并通过聚类升级机制来实现更好的目标领域特征,从而提高分类准确性。在 FewRel 2.0 数据集上的实验表明,本文所提出的方法优于之前的研究。
Jun, 2020