通过引入一种新的架构，即 B-cos Vision Transformer，以提高可解释性，本文证明了 B-cos Swin Transformer 在医学相关任务中超越了 Vision Transformers，并在两个公共数据集上提高了 F1 分数高达 4.7%。

Jan, 2024

该研究提出了在卷积神经网络的训练阶段中随机转换特征图以增强模型对空间变换的不变性，从而显著提高了 CNN 在图片识别等许多基准任务上的表现。

Nov, 2019

本文介绍一种新型神经网络模型 Convolutional Dynamic Alignment Networks（CoDA-Nets），其核心单元是 Dynamic Alignment Units（DAUs），通过动态对齐任务相关模式，利用线性变换对输入进行变换，将分类预测建模为一系列依赖于输入的线性变换，实现将输出进行线性分解为各个输入成分的贡献，并利用对齐的 DAUs 生成高质量的贡献热力图。CoDA-Nets 在分类上表现出色，在 CIFAR-10 和 TinyImagenet 等数据集上达到了与 ResNet 和 VGG 模型不相上下的结果。

Mar, 2021

本文通过凸对偶性的视角分析了自我注意力及其替代方案的基础归纳偏差问题，并为非线性点积自我注意力和替代机制提出了有解释性且可全局最优求解的等效有限维凸问题。通过实验证明，与现有的 MLP 或线性 heuads 相比，自我注意网络的偏差对于 CIFAR-100 分类任务具有吸引力。

May, 2022

该研究探讨使用余弦相似度或中心余弦相似度（皮尔逊相关系数）来替代神经网络中点积计算，从而达到较好的正则化效果，实验结果表明，余弦正则化优于其他正则化技术。

Feb, 2017

本篇论文讨论了在面部识别任务中的可解释人工智能（XAI），特别是面部验证。通过提出一种称为可解释余弦（$xCos$）的新奇相似度度量，并配备一个可学习的模块，我们可以向大众提供意义深刻的解释，并展示其在 LFW 等各种竞争基准上的有效性。

Mar, 2020

本文提出了一种线性可替换 softmax attention 的转换器 ——cosFormer，通过线性操作和余弦基础距离重新加权机制，保证了注意矩阵非负性和分布可以集中，并在语言建模和文本理解任务中取得了很好的效果。

Feb, 2022

该论文通过展示如何使用双流 Transformer 和联合旋转不变性和对抗优化过程，实现了在 Brain-Score 2022 竞赛中排名第二，并在所有视觉类别中平均排名第一的第一个位置，并且在 V4 区域的可解释方差方面取得了最高的成绩。同时，该模型在 V4，IT 和 Behavior 方面的解释方差也优于 ResNet50 模型。此外，通过几项额外实验，论文支持了一个 “所有道路通往罗马” 的论点，这是通过联合优化规则来实现的，即使对于像 Vision Transformers 这样的非生物学模型。

Mar, 2022

该论文介绍了一种将训练好的二进制神经网络转化为捕捉网络结构的 CNF 公式的新方法，以实现推理和反演。

Feb, 2024

该研究提出了一种新颖的基于蒸馏的方法，用于训练视觉 transformers，并取得了比先前同等架构的 transformers 更好的性能，该方法的关键是使用具有不同归纳偏差的轻量级 teachers 来共同指导 student transformer，从而实现不同的知识交汇和提升。

Jun, 2021