Jun, 2024

MLAAN：用多层跃迁增强辅助网络扩展监督局部学习

PDF
TL;DRScaling Supervised Local Learning with Multilaminar Leap Augmented Auxiliary Network (MLAAN) integrates smoothly with established local learning techniques, enhances efficacy, improves model accuracy, and outperforms end-to-end training approaches while saving GPU memory.
end-to-end traininglocal learningmlaansupervised local learningmodel accuracy
发现论文，激发创造
  • 增强辅助网络的有监督局部学习扩展

    提出了一种名为 AugLocal 的增强本地学习方法，通过选择其后续网络层的小部分层来增强它们之间的协同作用，解决了本地学习方法在大规模网络中与 BP 方法之间的精度差距问题，并减少了 GPU 内存使用量约 40%，为资源受限平台上训练高性能深度神经网络带来了许多机会。

    Feb, 2024

  • GLCAN: 具有全局 - 本地协作辅助网络的本地学习

    传统的深度神经网络通常使用端到端的反向传播方法，在 GPU 内存上往往产生很大的负担。另一种有前途的训练方法是局部学习，它将网络分为多个块，并借助辅助网络并行训练它们。局部学习已被广泛研究和应用于图像分类任务中，并且其性能与端到端方法相当。然而，不同的图像任务通常依赖于不同的特征表示，这对于典型的辅助网络而言是困难的。为了解决这个问题，我们提出了全局 - 局部协作辅助网络（GLCAN）的构建方法，为辅助网络提供了宏观设计方法。这是局部学习方法首次成功应用于目标检测和超分辨率等其他任务的示范。GLCAN 不仅节省大量 GPU 内存，而且在多个不同任务的数据集上具有与端到端方法相当的性能。

    Jun, 2024

  • MLAN：用于域自适应语义分割的多层对抗网络

    本文提出了一种新型的多级对抗网络 (MLAN)，针对源域和目标域之间的全局图像水平和局部图像区域之间的不一致性，通过区域级对抗性学习 (RL-AL) 和共正则化对抗性学习 (CR-AL)，以及在输入空间和输出空间上的多级一致性映射来实现领域自适应。大量实验表明，MLAN 在多个数据集上一致地优于现有技术。

    Mar, 2021

  • MLANet：基于子指令的多级注意力网络，用于连续的视觉语言导航

    为了更好地在连续的虚拟现实环境中实现语音导航，本文提出了一个多层次的指令理解机制和一个名为 MLANet 的新模型，它包含子指令生成的快速算法 (FSA)、多层次关注模块 (MLA) 来调和指令和视觉信号，以及用于提高对当前子指令选择能力的峰值关注损失 (PAL)，实验结果表明 MLANet 优于基线模型。

    Mar, 2023

  • 用虚拟对抗训练阶梯网络进行半监督学习

    基于分布平滑的半监督深度学习方法和梯度升级生成虚拟对抗训练方法被提出用于降低数据标签的高成本，两种方法被成功整合实现了接近监督准确度。

    Nov, 2017

  • 基于全局和局部表示的多网络对比学习

    提出了基于全局和局部特征表示的多网络对比学习框架，通过多个网络引入自监督对比学习的全局和局部特征信息，并通过对比由多个网络生成的嵌入对来学习图像不同尺度上的特征信息，并扩展对比样本数，提高了模型的训练效率。在三个基准数据集上的线性评估结果表明，我们的方法优于几种现有的经典自监督学习方法。

    Jun, 2023

  • 适应锁定思维网络解密心灵

    该论文介绍了一种自适应锁定不可知网络（ALAN）的方法，通过自我监督的视觉特征提取和解剖鲁棒的语义自分割来应对医学成像应用中标记数据不足的问题，并应用于三个公开的超声心动图数据集，结果表明这种方法能够稳定地识别心脏的解剖子区，并设计了两个下游模型用于解剖区域分割和超声心动图视图分类。

    Sep, 2023

  • LLMaAA：构建大型语言模型用于主动标注

    通过使用大型语言模型作为注释者，并将其放入主动学习循环中，我们提出了 LLMaAA 方法，充分发挥大型语言模型的潜力并有效利用大量无标签数据，提高效率和可靠性，并且在命名实体识别和关系抽取等自然语言处理任务上取得了超过其他基线方法的更高性能。

    Oct, 2023

  • 具有周期全局引导的本地监督学习

    提出一种周期性引导的本地化学习方法，旨在提升神经网络的泛化能力。该方法将全局目标函数反复引入神经网络的本地化损失训练中，并在多个模块的配置中具有重要的性能提升。

    Aug, 2022

  • 交替单模态适应的多模态表示学习

    MLA 是通过交替的单模态适应过程改变传统联合多模态学习过程，减少模态之间的干扰，并通过共享头部实现跨模态交互，从而优化性能，在推理阶段利用基于不确定性的模型融合机制集成多模态信息。经过在五个不同数据集上的广泛实验，证明了 MLA 相对于竞争方法的优越性。

    Nov, 2023