增量学习与自注意机制提升神经系统辨识

Jun, 2024

增量学习与自注意机制提升神经系统辨识

Incremental Learning and Self-Attention Mechanisms Improve Neural System Identification

Isaac Lin, Tianye Wang, Shang Gao, Shiming Tang, Tai Sing Lee

TL;DR卷积神经网络是建模视觉皮质神经元转移函数的最先进方法。这篇论文发现，与参数匹配的标准卷积神经网络相比，非局部网络或自注意机制在整体调谐曲线相关性和调谐峰值这两个关键度量上可以提高神经响应预测，并且可通过分解网络确定每个上下文机制的相对贡献，揭示了局部感受野中的信息对于模拟整体调谐曲线最为重要，而周围信息对于表征调谐峰值至关重要；并且在学习过程中自注意力可以取代后续的空间整合卷积，与全连接输出层相结合，两种上下文机制相辅相成；最后，学习以接受感受野为中心的自注意模型，在逐步学习全连接输出之前，能够提供更具生物学现实性的中心 - 周围贡献的模型。

Abstract

convolutional neural networks (CNNs) have been shown to be the state-of-the-art approach for modeling the transfer functions of visual cortical neurons. Cortical neurons in the primary visual cortex are are sensitive to contextual information mediated by extensive horizontal and feedba

convolutional neural networks visual cortical neurons contextual modulation self-attention mechanisms biologically realistic model

发现论文，激发创造

注意力增强卷积网络

本文针对使用卷积操作在视觉任务中只关注局部局部信息、缺乏全局信息的不足，提出运用自注意力机制对视觉任务进行处理的方法；通过在图像分类和目标检测任务中实现卷积和自注意力的融合，可有效提高模型精度。

Apr, 2019

针对参数高效视觉骨干，扩大局部自注意力的规模

该论文研究了自注意力在计算机视觉领域的应用，并提出了两种改进模型的方法，使其在速度、内存使用和准确性等方面优于传统的卷积模型，进而提出了一种名为 HaloNets 的新的自注意力模型家族，并在 ImageNet 分类基准测试中取得了最先进的准确性。

Mar, 2021

自注意力与卷积层之间的关系

本研究表明防止卷积操作而采用自注意层可以获得与卷积层相同的表现，这提供了一种证明多头自注意层与卷积层至少具有相同表征能力的方法。

Nov, 2019

学习视觉注意力生成模型

通过利用关注机制的生成学习框架，可以将图像中感兴趣的区域传递给生成建模的标准表征，并集中精力在感兴趣的对象上，从而建立新面孔的生成模型。

Dec, 2013

利用注意力机制进行基于补丁的生物医学图像分类

医学图像分析可以通过一种扎根于自注意机制的创新架构得到促进。传统的卷积神经网络（CNN）在捕捉像素级复杂空间和时间关系时需要帮助，而其卷积窗口的固定大小限制了输入波动。为了克服这些限制，我们提出了基于注意力模型而非卷积的新范式。这些模型作为传统 CNN 的替代品，表现出强大的建模能力和高效获取全局长范围上下文信息的能力。通过将非重叠（vanilla patching）和新颖的重叠移位补丁技术（S.P.T.s）相结合，我们的工作提供了一种解决注意力视觉模型所面临的关键挑战的方法，包括归纳偏差、权重共享、感受野限制和高分辨率数据处理。此外，我们还研究了适应不同图像尺寸到更高分辨率的新颖 Lancoz5 插值技术。实验证据验证了我们模型的一般化效果，并与现有方法进行了有利比较。特别是在充足数据的情况下，基于注意力的方法特别有效，尤其是在集成先进的数据增强方法来增强它们的鲁棒性时。

Apr, 2024

任务驱动的卷积循环视觉系统模型

通过引入前馈卷积神经网络与反馈式局部循环连接设计，提高图像识别准确性，更加贴近灵长类动物视觉系统的神经活动，为当代物体识别任务的研究提供了新的思路。

Jun, 2018

生理信号深度学习的注意力机制：我们应该采用哪种注意力机制？

本研究分析了四种注意力机制和三种 CNN 模型，针对心率预测中的分类和回归两个问题评估了多种组合，并验证了卷积操作和注意力机制的互补性以及提供更快的收敛时间，尽管单独的自注意模型需要更少的参数。

Jul, 2022

自注意力在医学图像分析中的效果研究

本文全面比较了各种最先进的自注意机制在多个医学图像分析任务中的效果，并通过定量、定性和临床用户调查，旨在深入了解自注意在医学计算机视觉任务中的影响。

Sep, 2021

图像恢复中自注意力和卷积的动态关联学习

本文提出了一种关联学习方法，利用 CNN 和 self attention 的优点并抑制它们的缺点，实现高质量和高效的图像修复。该方法通过关联雨痕去除和背景恢复来完成图像去雨，其中设计了图像去雨网络和背景恢复网络作为两个子任务，并引入了一种新颖的多输入 attention 模块用于关联学习。

Nov, 2023

医学图像分割的多尺度自引导注意力

采用引导自我关注机制的卷积神经网络模型对医学图像进行语义分割，能够更好地捕捉图像中的上下文依赖关系，去除冗余的信息提取并集成本地特征和全局依赖，强调相关特征关联，从而取得更好的分割效果。

Jun, 2019