与群众一起发现属性意义的不同层次
本文提出了一种端到端的无监督属性学习方法,利用在线文本语料库自动发现与人类概念语义属性相关的显著且有区分度的词汇,并针对文本中的噪声和缺失数据,提出了一个深度卷积模型来优化课程 - 属性关联。 实验证明,该方法能够有效地在大规模数据集上发现和学习语义属性,并且在 ImageNet、Animals 较 Attributes 和 aPascal/aYahoo 三个数据集上优于现有技术的零样本学习效果。
Apr, 2017
本文介绍了一种新的大规模、公共的室内场景阴影注释数据集,并用该数据集训练了一种卷积神经网络,以预测图像中每个像素的阴影信息,并在内在图像的应用中展示了我们的数据和网络的价值。
May, 2017
最近基础模型的进展为可解释的视觉识别提供了新的机会,通过查询大型语言模型获取描述每个类别的属性,然后应用视觉语言模型通过这些属性对图像进行分类,我们的研究发现,大量的 LLM 生成的属性与随机词几乎没有差别,我们提出了一种新的学习搜索方法来发现那些简明的属性集,该方法在 CUB 数据集上使用仅 32 个属性来区分 200 个鸟类的性能接近于大量 LLM 生成的属性(例如 CUB 的 10,000 个属性),此外,我们的新范式还展示了几个附加优势:人类的更高可解释性和互动性,以及总结知识的能力。
Aug, 2023
本研究提出一种用于预测对象视觉属性的大规模数据集,通过多标签分类解决对象属性预测问题,并采用多种技术来解决大量属性、标签稀疏性、数据不平衡和对象遮挡等问题,其中包括使用低级和高级 CNN 特征、多跳关注、重新加权和重新抽样技术、负标签扩展和监督属性感知对比学习算法,并取得了超过现有技术水平的 3.7 mAP 和 5.7 F1 值的改进。
Jun, 2021
我们研究了在视觉和语言模型训练中使用大型未筛选数据集的不公平表现,以及如何应对这个问题,研究发现社会偏见在图像生成、图像描述和图像文本嵌入等视觉语言任务中都是一个持续而普遍的问题。
Apr, 2023
本文提出了一种利用可用的视觉 - 语言知识来改进模型学习的方法,通过一个现成的视觉 - 语言模型辅助,预测每个缺失的属性标签的可能性,在训练中选择忽略那些得分较高的标签,该方法在对新整理的 VAW 数据集上实现了最先进的性能,定性评估证明了该方法在预测更完整属性方面的能力。
Dec, 2023
该研究论文提出了一种无需具体的监督数据集,从网络上嘈杂的图像文本数据中发现和分析视觉属性的自动化方法,其基于属性和深度神经网络中的神经激活之间的关系,该方法对于发现和学习分类器,以及利用高度激活的神经元找到语义相关地区是有用的。
Jul, 2016
本文提出了一种数据增强策略 Attribute Mix,通过属性级别的数据增强方法,利用自动属性挖掘技术扩展细粒度样本,从而显著提高图像识别性能。同时基于属性的共享特点,在广义域的图像上训练可扩展属性级别的标签。实验证明了该方法的有效性。
Apr, 2020