使用梯度加权类激活映射引导 DNN 的注意力进行人脸属性分类
本文提出利用注意力机制在卷积特征激活层面上进行细粒度图像识别,相对于传统方法,在不需要部分标注的情况下使用低层次特征进行输出概率分配,并在 CIFAR-10、Adience gender recognition task、Stanford Dogs 和 UEC-Food100 等数据集上取得了最先进的分类精度。
Jul, 2019
提出了一种交互式注意力对齐(IAA)框架,旨在实现可操纵的深度神经网络(DNNs),其中利用 DNN 模型解释方法作为交互媒介,直接调整注意力以改善 DNN 的准确性和公正性,并提出了一个计算流程,即 GRADIA,可以同时最大化注意力质量和预测准确性。通过两项研究,发现这种框架可以显著提高模型准确性和公正性,为未来交互式用户界面设计提供了启示。
Feb, 2022
提出了一种基于 Grad-CAM 的透明度技术,通过可视化重要的输入区域来提高人类对卷积神经网络(CNN)模型的理解,帮助理解包括图像字幕和视觉问答(VQA)模型在内的基于 CNN 的模型,并通过测量它们的分类能力、人类可信度和与遮挡地图的相关性来评估它们的视觉解释。
Nov, 2016
提出一种基于 multi-label 分类、视觉注意力机制、以及解决数据类别不平衡问题的损失函数等的方法,实现了在 PETA 和 WIDER-Attribute 数据集中的人体属性识别,并取得了最先进的效果。
Jul, 2018
本文提出了一种使用深度神经网络应用视觉注意力于细粒度分类任务的新管道,通过整合三种类型的注意力,训练领域特定的深度网络,在弱监督约束下避免使用昂贵的注释,并在 ILSVRC2012 数据集和 CUB200_2011 数据集的子集上验证了该方法的有效性,取得了与其他方法相竞争的表现。
Nov, 2014
提出了一种新的基于梯度注意力的去偏置方法,称为 Gradient Attention Balance Network (GABN),通过将面部识别网络的梯度注意力图用于跟踪敏感的面部区域,并通过对抗性学习使不同种族的梯度注意力图趋于一致,该方法通过使网络专注于相似的面部区域来缓解偏见。同时,该方法还使用口罩来擦除前 N 个敏感面部区域,迫使网络将其注意力分配到更大的面部区域,扩大了皮肤较暗的人的敏感区域,进一步减少了皮肤较暗的人的梯度注意力图和高加索人的梯度注意力图之间的差距。广泛的实验证明,GABN 成功地减轻了面部识别中的种族偏见,并为不同种族的人学习到更平衡的表现。
Apr, 2023
本研究提出 Causal Attention Learning (CAL) 策略,利用因果推断来处理图分类过程中存在的 confounding effect of shortcuts,该方法借助注意力模块估计因果特征和快捷特征,并对因果理论进行参数化背门调整。实验结果表明,CAL 策略在合成和真实数据集上均取得了良好的效果。
Dec, 2021
本文提出了两种新的基于学习的 eXplainable AI(XAI)方法,用于深度卷积神经网络(DCNN)图像分类器,称为 L-CAM-Fm 和 L-CAM-Img,通过插入在原始(冻结的)DCNN 中的注意机制,并被训练为从最后一个卷积层的特征映射中导出类激活映射(CAMs)。在 ImageNet 上的实验评估表明,提出的方法在要求单次正向传递的推理阶段实现了竞争结果,并基于推导得出的解释进行了全面的定性分析,提供了有价值的洞察力,用于理解分类错误背后的原因,包括可能影响训练分类器的数据集偏差。
Sep, 2022
本研究提出了一种新型的深度多任务多标签卷积神经网络(DMM-CNN),通过联合优化面部地标检测和面部属性分类两个紧密相关的任务以利用多任务学习来提高面部属性分类的性能,并针对不同的学习复杂性将面部属性分为两组,为两组属性设计不同的网络架构,并提出一种新的动态加权方案来自动分配损失权重。此外,还开发了一种自适应阈值策略来有效地缓解多标签学习的类别不平衡问题。实验结果表明,与几种最先进的 FAC 方法相比,所提出的 DMM-CNN 方法在具有挑战性的 CelebA 和 LFWA 数据集上具有优越性。
Feb, 2020