本文探讨了在图像分类任务中使用多种损失函数和正则化器去提高测试精度，但是并不清楚这些损失函数是否可以学习出更好的下游任务表示。作者研究了训练目标的选择如何影响在 ImageNet 上训练的卷积神经网络的隐藏表示的可转移性，结果表明选择不同的损失函数会导致不同的结果，进一步指出了在为原始任务学习不变特征和为转移任务学习相关特征之间存在一种折衷。

Oct, 2020

本文提供了一个框架来验证神经网络的行为，通过功能行为敏感性和特异性等方面测试常用的神经网络模型评估方法，研究发现当前的评估指标存在不同缺陷，一个经典的基线表现出人意料的好，作者对所有指标都无法胜任的场景进行了强调，并为未来的研究提供了挑战性的基础数据。

Aug, 2021

作者们通过投影加权规范相关分析法（projection weighted CCA）研究神经网络的表征学习。研究发现，广泛的神经网络更容易获得相似的表征，与学习速率相关的神经网络收敛到具有不同表征的不同聚类中，RNN 随着时间的推移呈自底向上的模式聚合，而其隐藏状态在序列的不同时间间隔内变化较大。

Jun, 2018

本研究探讨了在深度学习中通过将关系和感觉信息分隔，以及引入归纳偏差来改善系统的推理性能，并提出了基于相似性分数的简单架构 -- Compositional Relational Network (CoRelNet), 增强了模型的鲁棒性，提高了关系计算的分布外泛化能力。

Jun, 2022

通过使用 better calibrated to human perceptual judgments of image quality: the multiscale structural-similarity score (MS-SSIM) 进行训练而不是使用 pixel-wise loss (PL)，提出了更好的 perceptually-optimized methods，已被证明在三种不同的自动编码器中表现更好，可以在图像分类和超分辨率成像方面为计算机视觉带来极大的潜力。

Nov, 2015

本文探讨了卷积神经网络的形状偏差属性，通过使用将亮度反转的负图像等度量方法评估 CNNs 的形状偏差属性，进行大规模实验并研究了不同因素，如训练数据、模型架构、初始化和规则化技术，对 CNNs 形状偏差属性的作用。结果表明，CNNs 不会固有地表现出形状偏差，但是适当初始化模型或适当增强数据和使用批归一化技术，可以使 CNNs 学习和推广结构。

Mar, 2018

本文介绍了基于规范相关分析（CCA）方法的神经网络表示比较方法，并提出了一种相似度指数来测量表示相似性矩阵之间的关系，该指数与中心核对齐（CKA）密切相关，但不受高维表示限制，具有可靠性。与 CCA 不同，CKA 方法可在不同初始化的网络表示中可靠地识别对应关系。

May, 2019

本文提出一种基于无监督学习的方法来解释大量相似图像中深度卷积神经网络的决策逻辑，并将代表性解释问题转化为一种共聚类问题，并基于线性决策边界的样本将其转化为子模代价覆盖问题。我们还提供了可视化和相似性排序方法，广泛的实验证明了本方法的优秀表现。

Aug, 2021

机器学习模型在处理来自未来天文调查的离域样本时依然面临挑战，解释性方法通过使用相似性度量来检查预训练卷积神经网络在中心核对齐方面的性能与表示相似性之间的关系，发现当模型对分布变化具有稳健性时，在离域数据上，图像在网络层之间的表示会有较大变化；然而，当模型无法泛化时，在离域数据上，这些表示在网络层之间的变化较小。讨论了这种相似性表示在模型设计、训练策略以及通过在训练过程中加入中心核对齐作为归纳偏差来缓解离域问题方面的潜在应用。

Nov, 2023

本文提出了一种基于伪核的新工具，用于分析和预测网络学习到的表示，通过验证其在简单测试案例上的使用，本文论证了该方法可预测权重初始化和训练计划对表示学习和下游并发多任务执行表现的影响。

Jul, 2023