ASPIRE：语言引导的增强技术用于鲁棒性图像分类

Aug, 2023

ASPIRE：语言引导的增强技术用于鲁棒性图像分类

ASPIRE: Language-Guided Augmentation for Robust Image Classification

Sreyan Ghosh, Chandra Kiran Reddy Evuru, Sonal Kumar, Utkarsh Tyagi, Sakshi Singh...

TL;DR本文提出了 ASPIRE（用于消除冗余关联的语言引导数据增强）的简单且有效解决方案，通过引导语言生成没有冗余特征的合成图像来扩展训练数据集，从而改善先前方法的分类准确度。

Abstract

neural image classifiers can often learn to make predictions by overly relying on non-predictive features that are spuriously correlated with the class labels in the training data. This leads to poor performance in real-world atypical scenarios where such features are absent. Supplemen

neural image classifiers spurious features robust learning language-guided data augmentation classification accuracy

发现论文，激发创造

利用语言进行图像的语义增强

通过利用生成的图像来增强现有数据集的技术，该论文探讨了各种有效的数据增强策略，以提高深度学习模型的跨域泛化能力。

Apr, 2024

自动扩展扩散的视觉数据集

本研究介绍了一种基于自然语言描述的图像增广方法（ALIA），通过大规模视觉模型与语言模型的结合，自动生成域名描述，实现对样本数据的增广。该算法有效提高了训练数据的多样性，经过测试在细粒度和复杂分类中表现良好。

May, 2023

ALIP: 自适应语言图像预训练与合成字幕

通过生成综合信息的合成字幕并动态调整样本权重，自适应对比损失有效降低噪音数据的影响并增强预训练数据效率，Adaptive Language-Image Pre-training (ALIP) 在不同规模模型和预训练数据集上进行了实验验证，并在多个下游任务中取得了最先进的性能，包括零样本图像 - 文本检索和线性探测。

Aug, 2023

PLIP: 人物表示学习的语言图像预训练

该研究提出了一种新的预训练框架用于人物表征学习，名为 PLIP，其中包括三个预文本任务：图像着色、属性预测和视觉 - 语言匹配，在一个新的大规模人物数据集 SYNTH-PEDES 上对其进行了评估并取得了优于先前方法的效果。

May, 2023

针对学习鲁棒分类器的伪装感知元学习

通过元学习训练图像分类器以减少对伪相关性的依赖，以实现对伪相关性的鲁棒性，同时在不知道先验信息的情况下获得了五个基准数据集上最好的鲁棒性。

Jun, 2024

图像标题是文本到图像模型的自然提示

论文理论分析了合成数据的训练效果和提示诱导的合成数据分布之间的关系，并相应地提出了一种简单而有效的方法，通过图像字幕和类名来提示生成模型，从而合成更具信息性和多样性的训练数据。实验证明，该方法显着提高了在合成训练数据上训练的模型的表现。

Jul, 2023

IMAGINE: 图像引导模型反演的图像合成

介绍了一种基于图像反演的方法 --IMAge-Guided model INvErsion（IMAGINE），通过匹配经过训练的分类器中的多层特征表示和外部鉴别器的对抗训练，来从单一训练样本生成高质量和多样化的图像，实现了在维持语义特性约束的同时生成逼真图像，并且可以让用户直观地控制生成过程。经过大量实验证明，在对象、场景和纹理这三个不同的图像域中，IMAGINE 都比现有的基于 GAN 或基于反演的方法表现更好。

Apr, 2021

基于扩散的图像标注及检索在文化遗产中的应用

通过生成式视觉 - 语言模型来增强艺术品数据集，以应对文化遗产领域中有限的注释数据和领域偏移，提高模型对艺术特征的理解和生成恰当术语的能力。

Aug, 2023

通过反事实和不变数据生成实现强健的分类模型

该研究针对机器学习应用中存在的假相关问题，以图像分类为例，提出两种数据生成策略来减少此类问题，并在多个领域的数据集上表现出更好的准确性和更好的解释能力。

Jun, 2021

面向少样本文本分类的标签语义感知预训练

提出了一种标签语义感知预训练（LSAP）方法，该方法将标签语义信息融入预训练生成模型中，并通过有标签的来自不同领域的句子的次预训练进行，从而提高了文本分类系统的泛化性能和数据效率，在 ATIS、Snips、TOPv2、AG News 和 Yahoo! Answers 几项任务中展现出显著的性能提升，尤其对于少样本学习的情况表现出色。

Apr, 2022