Jul, 2024

评估医学图像分类中神经崩溃的公正性

PDF
TL;DR我们的研究通过神经崩溃的视角调查深度学习公平性对医学成像的影响，发现偏倚训练初始会导致亚组之间不同的神经崩溃配置，最终通过记忆所有数据样本达到最终神经崩溃解决方案，而在偏倚设置中，神经崩溃会显著降低所有亚组的 F1 得分。
deep learningneural collapsemedical imagingbiasfairness
发现论文，激发创造
  • 神经崩溃与低秩偏差：深度神经网络崩溃是否真正最优？

    深度神经网络中的神经塌缩现象对于非线性模型和多分类问题呈现低秩结构的突变是其优化的主要原因。

    May, 2024

  • 分类神经网络中的中间隐藏层神经失调

    分类神经网络的中间隐藏层中出现一定程度的神经崩溃，而崩溃的程度通常与该层的深度正相关。此外，浅层网络主要减少样本内类别方差，类之间的角度分离随着隐藏层深度的增加而增加。实验结果提供了有关特征在分类神经网络中结构传播的细粒度洞察。

    Aug, 2023

  • 多标签学习中的神经网络崩溃问题与全局标签损失

    我们研究了深度神经网络在多标签分类任务中的神经折叠现象，通过研究我们证明了具有 “选择全部标签” 形式的广义神经折叠现象成立，同时发现了多标签学习中独特的 “标签平均” 的组合属性，并在理论上建立了全局优化结果和训练效率的实证证据。

    Oct, 2023

  • 深度线性网络中的神经崩溃：从平衡到不平衡数据

    研究表明，深度神经网络中的最后一层特征和分类器在经过训练直至收敛后仍呈现出相同的结构特性，表现为神经崩塌现象。本研究进一步证明了这种现象在深度线性网络中同样存在，并且成功地拓展到了失衡数据的情况下。实验证明了我们的理论分析。

    Jan, 2023

  • 训练公平神经网络的技术挑战

    机器学习算法已被广泛应用在各种领域，然而由此带来的公平性问题在高风险案例（如人脸识别和医学影像分析）中引起了极大关注。本文针对深度神经网络中公平性的限制条件及其行为矫正方法的有效性进行了研究，实验结果表明，在特定公平度量下，大型模型会对公平的过度拟合而产生一系列意外和不良后果。

    Feb, 2021

  • 关于元学习模型中神经坍塌的作用对少样本学习的研究

    元学习框架用于少样本学习，旨在学习能够快速学习新技能或适应新环境的模型。本研究首次探索和理解元学习框架中神经坍塌现象的特性，观察到学习到的特征确实呈现神经坍塌趋势，然而并不完全符合神经坍塌性质的度量。通过在 Omniglot 数据集上进行研究，揭示了表示学习中的神经坍塌现象。

    Sep, 2023

  • 基于无约束 ReLU 特征模型的交叉熵类不平衡学习的神经倒塌

    在该研究中，我们将神经坍缩现象推广到不平衡类别的交叉熵损失下，证明了虽然类内特征会坍缩，但类均值将收敛到长度不同的正交向量结构，并发现分类器权重与类均值的缩放和居中相关，这扩展了在平衡类别设置下的神经坍缩现象。通过在实际架构和数据集上进行实验证明了我们的结果。

    Jan, 2024

  • 语言崩溃：（大型）语言模型中的神经崩溃

    本文通过实证研究探讨了扩展的因果语言模型（CLMs）的体系结构和训练对其进展向神经坍缩（NC）的影响，发现随着规模的扩大，NC 的特性与泛化之间存在联系，并且即使在规模上无关的情况下，NC 与泛化之间也存在某种关系。因此，本研究强调了 NC 的一般性，使其扩展到语言建模的新颖和更具挑战性的环境中，希望进一步研究该现象以加深对 LLMs（大型语言模型）和神经网络的理解，并改进基于 NC 相关特性的现有架构。

    May, 2024

  • 图神经网络特征演化的神经倒塌视角

    本文探讨了图神经网络中的特征演变与拓扑关系，并通过 “神经崩溃” 现象展示了节点分类中的该现象。作者进行了实证研究和理论分析，发现理论模型要求图满足一定严格的结构条件才能得到准确的收缩，并最终通过对图神经网络的研究比较了不同层之间的特征变化与光谱方法的差异。

    Jul, 2023

  • 深度神经网络崩塌对于深度非约束特征模型具有可证明的最优性

    本文将已有的理论框架扩展到多个非线性层，通过理论证明和实验验证，说明神经网络的最后一个层的可折叠性会向更早的层传播，同时解释了已有的实验结果。

    May, 2023