Oct, 2023

释放神经坍缩的力量以进行可转移性估算

PDF
TL;DR通过测量预训练模型中神经崩溃的程度，提出了一种名为 Fair Collapse（FaCe）的新方法用于传递性估计，该方法包括方差崩溃项和类公平度项。实验结果表明，FaCe 在图像分类、语义分割和文本分类等不同任务上取得了最先进的性能，证明了我们方法的有效性和泛化能力。
发现论文，激发创造
  • 论神经振荡在迁移学习中的作用

    本文研究基础模型学习分类表示在转移学习中的能力。我们通过解释过参数分类器所学习到的特征在转移学习中的普遍适用性，展示神经坍塌现象在样本训练类和新类别上的泛化性，并能成功应用在少样本学习任务中。

    Dec, 2021

  • 几何复杂度对转移学习中神经塌陷的影响

    通过实验证明，对预训练网络的几何复杂性进行操作会影响神经崩溃，这个效果也能推广到新类别的神经崩溃上，从而提升在下游任务中的性能，特别是在少样本学习设置中。

    May, 2024

  • 神经网络变异性崩溃的定量化

    本文提出了一种名为 VCI 的新指标，用于量化神经网络中可变性崩溃现象，该指标与线性探测损失密切相关，具有不变性和数值稳定性，并证实其可以表征预训练神经网络的可转移性。

    Jun, 2023

  • 令人沮丧的易转移能力估计

    通过提出一种简单、高效、有效的量化传递学习中先前训练模型的可迁移性算法 TransRate，通过对目标任务示例进行一次遍历，度量传递性，作为预先训练模型提取目标示例特征和其标签之间互信息的方法，TransRate 在 32 个预先训练模型和 16 个下游任务的广泛评估中表现极好，从特征表示的角度评估 TransRate 评估先前训练特征的完整性及其对于每一类别的紧凑性能力。

    Jun, 2021

  • 探索神经衰竭：批标准化和权重衰减的影响

    神经崩溃是最后一层神经网络分类器中出现的几何结构，本文研究了批归一化和权重衰减对神经崩溃的影响，并提出了几何直观的类内和类间余弦相似度度量来捕捉神经崩溃的核心方面。结果表明，批归一化和权重衰减可能是神经崩溃出现的基本因素。

    Sep, 2023

  • 通过评估类内特征方差实现快速准确的可迁移性测量

    我们提出了一种快速准确测量迁移能力的算法，通过测量类内特征方差来评估预训练模型在目标任务上的泛化能力，相比于之前的研究，我们的方法在选择前五个最佳模型上表现出色，并在 17 个案例中展现出更好的相关性。

    Aug, 2023

  • 无约束特征模型下的神经塌陷问题

    本研究通过在不受约束的特征模型背景下，研究了交叉熵损失函数下不平衡数据的神经崩溃现象，发现特征向量在同一类中收敛为相同的平均向量，并确定了少数类崩溃的临界阈值，并且结果表明，数据大小不平衡的影响随着样本大小的增长而减小。实验结果验证了理论分析。

    Sep, 2023

  • 模型的可转移性预测：自我挑战 Fisher 空间中的差异

    该研究提出了一种新的转移度量标准，称为自我挑战 Fisher 判别分析（SFDA），用于评估每个先前训练的深度神经网络在下游任务中的可迁移性，并通过模型集成来筛选多个最具转移性的预训练模型。

    Jul, 2022

  • 超越捷径：通过神经坍缩的视角进行无偏学习

    本文探讨了神经塌缩（Neural Collapse）现象在不平衡属性的偏倚数据集中的影响，提出了一种避免捷径学习的框架，通过设计神经塌缩结构的快捷方式引导模型，以捕捉内在的相关性，从而解决了偏倚分类的根本原因，实验证明该方法在训练过程中具有更好的收敛性能并在综合和真实世界的偏倚数据集上实现了最新的泛化性能。

    May, 2024

  • 如何选择转移模型？一项关于转移可行性估计的调查

    现已大规模和大量可用的预训练模型，因此估计模型的迁移能力变得至关重要，本文针对这个问题进行了综述，并将其分为两个领域：无源模型迁移能力估计和有源模型迁移能力估计，提供了相关的分类和指导。

    Feb, 2024