本论文介绍了Bayesian hypernetworks这一神经网络近似贝叶斯推断的框架，并通过可逆的变换实现了对其他神经网络参数的高效估计及其复杂后验分布多模式近似。实际应用表明，Bayesian hypernets能够比dropout更好地抵御对抗样本攻击，并在正则化、主动学习和异常检测等一系列任务上表现出竞争力。

Oct, 2017

我们通过神经切向核（NTK）探索深度集合和高斯过程（GPs）之间的联系，引入对标准深度集合训练的简单修改，其中包括对每个群集成员的可计算、随机且不可训练的函数的添加，以在无限宽度下启用后验解释，用于回归和分类任务中，证明了我们的贝叶斯深度集成在无限宽度限制下进行更保守的预测，可在不同的寻常数据的情况下胜过标准的深度集成。

Jul, 2020

本文提供了一个框架来验证神经网络的行为，通过功能行为敏感性和特异性等方面测试常用的神经网络模型评估方法，研究发现当前的评估指标存在不同缺陷，一个经典的基线表现出人意料的好，作者对所有指标都无法胜任的场景进行了强调，并为未来的研究提供了挑战性的基础数据。

Aug, 2021

本文通过大规模分析深度异常检测方法的超参数敏感性，设计了一个鲁棒性可扩展深度超集成模型 ROBOD 并进行了广泛的实验验证，表明 ROBOD 在选择模型和调整超参数的问题上取得了良好的表现，同时训练成本较低。

Jun, 2022

通过分析 Centered Kernel Alignment 算法对于在机器学习中出现的简单变化的敏感度，我们研究了该算法的若干弱点，并探索了在保持功能行为的前提下改变 CKA 值的方法，结果表明 CKA 值可以容易地被操纵而不需对模型做实质性的改变，因此在利用活动对齐度量时需谨慎。

Oct, 2022

本文通过探究网络层的特征相似性与网络稀疏性之间的内在联系，提出了一种基于居中核对齐的稀疏正则化方法（CKA-SR），该方法利用CKA降低网络层之间的特征相似度，增加网络稀疏性，并在多种稀疏训练方法上取得了稳定的效果提升，在极高稀疏度下表现尤为明显。

Jul, 2023

使用CKA（Centered Kernel Alignment）理论有效地将大规模模型和轻量级模型之间的表达差异解耦为MMD（Maximum Mean Discrepancy）的上界和一个常数项，提出了一种新颖的RCKA（Relation-Centered Kernel Alignment）框架，根据任务特征动态定制CKA的应用，以较低的计算源消耗获得相比前期方法相当的性能，在CIFAR-100、ImageNet-1k和MS-COCO上的广泛实验表明，该方法在几乎所有的师生网络对中对于图像分类和目标检测都达到了最先进的性能。

Jan, 2024

利用fMRI和MEG数据，本文揭示了如果在低数据高维度领域中使用偏向CKA作为对齐度量标准，则它们由于偏向CKA对不同特征-样本比率的敏感性而无法直接比较，结果将高度相似，甚至对于随机矩阵对。只有使用去偏CKA才能实现真正的刺激驱动响应的正向对齐，同时表明偏向CKA对神经数据的内在结构敏感。

May, 2024

不同对比学习（CL）损失函数实际上都优化了什么？通过分析多个CL方法，我们证明它们在某些条件下，在优化批级目标或渐近期望时，都具有相同的极小化解。在两种情况下，我们发现它们与超球面能量最小化（HEM）问题密切相关。我们根据这一点的启示，提出了一种新的CL目标，命名为分离的超球面能量损失（DHEL）。DHEL通过将目标超球面能量与正样本的对齐解耦，简化了问题，同时保持了相同的理论保证。更进一步，我们展示了另一个相关的CL家族——核对比学习（KCL）也具有相同的结果，此外，预期损失与批次大小无关，从而确定了非渐近区域的极小化解。经验结果表明，在多个计算机视觉数据集上，在不同批次大小和超参数组合以及降维崩溃方面均实现了改进的下游性能和鲁棒性。

May, 2024

本研究解决了当前监督学习中计算效率与鲁棒预测性能之间的平衡问题，尤其是在关键应用中的表现。通过提出条件混合网络（CMNs），该研究展示了一种新颖的快速无梯度推理方法，有效处理复杂分类任务，并在与最大似然估计（MLE）比较中展示出竞争力和优越的预测精度，同时维持了全后验分布的优势，展示了其在深度、快速、无梯度贝叶斯网络中的潜在影响。

Aug, 2024