对现代语义分割模型的对抗攻击进行了深入评估，发现许多分类任务的观察结果并不能直接转移到更复杂的任务上，同时展示了深层结构模型中的平均场推理、多尺度处理等方法如何自然地实现最近提出的对抗性防御。这些发现有助于未来理解和防御对抗性攻击，并有效评估分割模型的鲁棒性。

Nov, 2017

本研究的目的是针对 DeepLabv3+ 模型在语义分割应用中的鲁棒性进行全面调查，研究结果显示性能与鲁棒性有很大关系，而有些架构属性则对鲁棒性产生了显著影响。

Aug, 2019

本文提出了一种新颖的技术，通过利用人类描述中蕴含的丰富语义信息来提高深度神经网络的可解释性，特别是在视频字幕任务中，通过一个可解释损失将人类描述中的一组语义相关主题集成到模型中，并提出了一种预测差异最大化算法来解释每个神经元的学习特征。实验结果表明这种方法在视频字幕和视频动作识别方面非常有效。

Mar, 2017

提出了一种名为 Semantify-NN 的新方法来验证神经网络对语义扰动的强鲁棒性，该方法通过在任何不同的神经网络的输入层中插入一个名为 SP 层的语义扰动层实现，并能支持鲁棒性验证范围内的不同的语义扰动方式，并取得了比过去更好的验证实验结果。

Dec, 2019

本文提出一种数学优化方法，将人类可解释的语义概念与特征空间中的向量相互关联，从而诠释全局和局部的深度神经网络决策过程。实验表明，该方法可以有效解释已有深度神经网络模型。

Oct, 2019

研究通过 GeoRobust 在深度神经网络上实现几何变换的鲁棒性分析，并提供了基于 Lipschitz 理论的最坏情况变换证明保证。我们还发现，在 ImageNet 分类器上，增加深度比增加宽度更有益于提高网络的几何鲁棒性。

Jan, 2023

DNNs guided by neural representations from the human ventral visual stream display increasing robustness to adversarial attacks, develop more human-like decision-making patterns, and suggest new robustness solutions by emulating the human brain.

May, 2024

本篇论文提出两种方法来量化 CNN 潜在空间中语义信息的相似度，以解决模型透明性问题。通过将这些方法应用于三种不同的目标检测器和两个数据集，我们的研究表明相似的语义概念是在所有 CNN 体系结构中学习的，且相似的概念出现在相似的相对层深度中，而与总层数无关。该研究成果有望实现 CNN 模型选择的知情和语义信息处理的理解。

Apr, 2023

本文利用深度学习网络结构，使用单个深度图像为输入，实现了语义分割中对可见和遮挡物体及其部分的类型预测，将语义类别进一步细分为背景和多个前景物体组，并改进了标准的交叉熵损失函数以适应这种情况，实验证明所提出的分类方法能够验证预测出被遮挡物体部分的语义类别，无需增加网络结构规模，其性能在由 SUNCG 数据集生成的新数据集上得到验证。

Jun, 2019

深度学习算法在将原始视觉输入转化为强大的语义理解方面缺乏人类可解释的说明，阻碍了不同架构、训练目标和人类大脑之间的比较。本文从神经科学中汲取灵感，采用表征方法揭示神经网络在低层次（视觉显著性）和高层次（语义相似性）抽象水平上如何编码信息。此外，我们引入了一个自定义图像数据集，在其中系统性地操纵显著性和语义信息。我们发现，在使用对象分类目标进行训练时，ResNet 对显著性信息比 ViT 更敏感。我们发现网络在早期层次抑制显著性的过程，在 ResNet 中，自然语言监督（CLIP）进一步增强了这一过程。CLIP 还增强了两种架构中的语义编码。最后，我们展示了语义编码是将人工智能与人类视觉感知对齐的关键因素，而抑制显著性是一种非类脑策略。

Apr, 2024