- 细粒度染色体识别的监督对比学习
提出了一种针对可靠染色体分类训练的监督对比学习策略，通过在潜在空间中提取细粒度的染色体嵌入，扩大了类间边界和减少了类内差异，提高了预测染色体类型的准确性，可以显著提升深度网络的泛化性能。
- 超越端到端训练：以上下文补充提升贪婪局部学习
从信息论的角度出发，我们在贪婪的局部学习中提出了一种 ContSup 方案，它将隔离模块之间的上下文补充作为补偿信息损失的手段。在基准数据集（即 CIFAR、SVHN、STL-10）上的实验证明，我们提出的方法能够显著提高贪婪的局部学习性能 - AttenScribble: 用于基于草图监督的医学图像分割的注意力相似性学习
通过自我注意力相似度损失的方法，本文提出了一种基于涂鸦监督学习的简单而有效的深度网络结构，用于医学图像分割。
- 在线训练前馈 SNNs 时的估计后突触效应
在线学习在脉冲神经网络中的推动作用是发展事件驱动模型以适应不断变化的环境并能够实时从连续数据流中学习的一项关键步骤。我们提出了一种名为 OTPE 的在线培训方法，用于训练前馈式脉冲神经网络，该方法通过引入时间动态来近似实时递归学习（RTRL - 从通信理论的角度改进鲁棒性：倾斜指数层
通过神经竞争和倾斜指数（TEXP）学习来提高深度网络的鲁棒性，无需数据增强，并通过倾斜 softmax 进行推断。
- 利用早期结果来调控蒸馏中的特征偏倚
深度网络在现实世界的监督学习任务中往往学习到伪特征 - 标签相关性，而蒸馏中学生模型的表征能力可能比相应的教师模型低，我们提出了一种新颖的早期输出机制，通过使用网络较早层的表征来尝试预测标签，这些早期输出可以自动识别出形式为自信但错误的预测 - 线性估计器中的领悟 —— 一个可解决的模型，不需要理解的领悟
模型在训练数据拟合后依然能够泛化的现象被称为 “理解”（grokking），本文通过分析和数值实验发现线性网络在简单的教师 - 学生设置中，通过高斯输入也能够出现 grokking 现象。我们推导出模型的训练动态，并提供关于 grokkin - 等变深度权重空间对齐
通过学习解决权重对齐问题的新框架 Deep-Align，该研究提出了深度网络的排列对称性和权重排列两个基本对称性，并在多个网络架构和学习设置上进行了实验，结果显示 Deep-Align 能够产生与当前优化算法相比更好或相等的对齐，并可用作其 - 表示、索引和操作概念的简单机制
利用深度网络，基于概念分类器通过梯度下降的训练，我们提出通过观察概念的矩阵统计特征来生成其具体表示或特征签名，进而发现概念集合之间的结构，并通过学习这些特征签名的结构递归生成更高级的概念。当概念相交时，利用概念的特征签名可以找到一种共同主题 - 大规模数据的高效、有效的多视角子空间聚类
在大规模多视角数据集中，我们提出了一种高效有效的多视角子空间聚类深度框架 (E$^2$LMVSC)，通过提取统一的表示来增强聚类性能。
- 自动使用梯度学习层间等变性
卷积将等变对称性编码到神经网络中，从而提高泛化性能。为了允许灵活的对称约束，我们改进了软等变性的参数化，并通过优化边缘似然来学习层面的等变性。我们展示了在图像分类任务上自动学习层面等变性的能力，获得了与硬编码对称性基线相当或更好的性能。
- 发现：通过竞争和分解使视觉网络可解释
这项研究工作旨在通过多模态视觉 - 文本模型和基于线性单元之间的随机局部竞争的网络层，提出了一种框架，以更容易地发现视觉任务网络中每个神经元的个体功能，并生成描述性文本以解释网络的决策过程。
- 现代深度学习中为什么我们需要权重衰减？
从 ResNets 到 LLMs 的统一视角，权重衰减不是一个显式正则化器，而是以期望的方式改变训练动态。
- 通过视角之间的空间关系进行心脏磁共振成像的自动视角规定
心脏磁共振成像的自动视图规划系统，利用深度学习网络通过空间关系自动定位目标平面，并使用预测热图实现多视图规划策略，从而实现对标准 CMR 平面的准确推荐。
- 随机梯度下降的不同制度
通过对教师 - 学生感知器分类模型的研究，我们在 B-η 平面上获得了一个相图，分为三个动力学相：(i) 由温度控制的噪声主导的 SGD，(ii) 由大步长主导的 SGD 和 (iii) GD，这些不同相还对应着不同的泛化误差区域。有趣的是 - DeNISE：改进分割边缘的深度网络
本文介绍了一种称为 DeNISE 的深度神经网络，它利用边缘检测和分割模型来改善分割掩模的边界质量，并通过两个顺序深度神经架构的固有差异提高预测分割边缘的准确性。文中通过应用 DeNISE 于航拍图像建筑分割任务，测试和验证了该技术的潜力， - 面向高效图像识别的低延迟统一动态网络
动态计算已成为提高深度网络推理效率的一种有前途的方法，我们提出了一个名为 “LAUDNet” 的框架，它集成了三个主要的动态范例，以缩短模型的延迟，通过算法设计与调度优化相结合，准确衡量动态操作延迟的潜在预测器指导。我们在多个视觉任务上测试 - 深度线性网络中甚至存在关键学习阶段
临界学习期是指在发育的早期阶段，暂时的感觉缺陷可能对行为和学到的表示产生永久影响，无论是在生物网络还是人工网络中都有实验证明了临界学习期的存在，这表明临界学习期可能对学习具有基础性的作用。然而，为什么深度网络中会出现临界学习期仍然是一个未解 - ICCV基于光照感知伽马校正和完整图像建模网络的低光照图像增强
本文提出了一种新颖的网络结构，利用感知偏差照明方式和完整图像建模来解决低光照图像增强问题。通过将伽马校正的有效性与深度网络的强建模能力相结合，我们能够粗到细地自适应地感知偏离的照明来学习校正因子伽马。通过使用泰勒级数近似伽马校正，加速了训练 - 随机梯度下降法的平衡定律和稳定分布
随机梯度下降（SGD）算法是用于训练神经网络的算法。在这项工作中，我们证明了 SGD 的小批量噪声在有缩放对称性的损失函数中使解决方案朝着均衡解决方案正则化。我们应用这一结果来推导具有任意深度和宽度的对角线线性网络的随机梯度流的稳态分布，该