Oct, 2023

提升具有类 V1 前端的 CNN 的鲁棒性需要匹配 V1 的神经表征

PDF
TL;DR在具有卷积神经网络的目标识别方面取得了巨大成功的同时，它们难以辨识出带有不同类型常见噪音模式的图像中的对象。最近的一项研究表明，在模拟 CNN 前端的早期视觉区域中的计算将提高对图像破坏的鲁棒性，本文进一步探讨了这一结果，并显示精确匹配灵长类 V1 区中发现的 RF 特性分布所产生的神经元表示对于这种鲁棒性改进至关重要。我们构建了两种变体的模型，其中前端模型模拟了灵长类的视觉皮层（V1）：一种是均匀采样 RF 特性，另一种是采样自生物实验分布。具有生物采样的模型对图像破坏具有较高的鲁棒性（相对差异为 8.72%）。虽然两个变体之间的类似神经元亚种群具有相似的响应特性，并学习相似的下游权重，但对下游处理的影响却截然不同。这个结果揭示了一些仿生模型鲁棒性改进的原因，指向了精确模仿在灵长类大脑中发现的神经元表示的必要性。
convolutional neural networksobject recognitionimage corruptionsneuronal representationsprimate v1
发现论文，激发创造
  • 生物限制的深度学习架构用于解释 V1 属性

    我们将神经科学构建的结构组件系统地纳入卷积神经网络，以解释 V1 神经活动和调谐特性，结果证实这些神经科学构建的结构组件可以使 CNN 更好地模拟 V1 神经活动和调谐特性。

    May, 2023

  • 利用人类腹侧视觉通路提高神经网络的稳健性

    DNNs guided by neural representations from the human ventral visual stream display increasing robustness to adversarial attacks, develop more human-like decision-making patterns, and suggest new robustness solutions by emulating the human brain.

    May, 2024

  • 初级视皮层旋转等变卷积神经网络模型

    本文研究了鼠视觉皮层神经元的处理方式，通过使用旋转等价卷积神经网络提取共性特征并与传统模型进行比较，发现传统线性 - 非线性模型存在不足，但卷积神经网络能够更加准确地预测自然刺激下神经元的反应，且 V1 神经元存在一些与传统 Gabor 过滤器不同的共性特征，这对研究 V1 中的非线性计算具有重要意义。

    Sep, 2018

  • 通过猴子视觉皮层多任务学习实现稳健的视觉

    运用多任务学习方法使深度神经网络对图片失真有着较好的鲁棒性，研究结果表明，从灵长类的视觉皮层中提取归纳偏见，使神经网络更类似于人类视觉系统，提高了其在面对失真问题时的效率。

    Jul, 2021

  • 对抗训练的神经表示可能已经与对应的生物神经表示一样强大

    本文研究模仿灵长类动物视觉系统中的神经表征可以产生对抗性稳健的人工视觉系统的想法。通过攻击猴子脑活动的方法，发现猴子的视觉系统对抗扰动的敏感度与稳健训练的人工神经网络相当。

    Jun, 2022

  • 生物启发式机制的对抗鲁棒性

    本文研究两种生物学机制在对抗性鲁棒性方面的角色，并且通过消融实验证明了非均匀采样和多重感受野存在能够提高神经网络对小的对抗性扰动的鲁棒性。

    Jun, 2020

  • 深度神经网络在核心视觉物体识别方面可以与灵长类 IT 皮质的表现相媲美

    通过核方法评估，本文针对实验和计算考虑，比较了深度神经网络和灵长类动物视觉系统在目视物体识别任务中的表现，结果表明最新的深度神经网络做到了与灵长类动物视觉皮层相匹敌的表现水平，并发现在表示学习性能良好的模型在表示相似度和特定皮层多单元反应预测方面也表现良好。

    Jun, 2014

  • 从视网膜到皮层的早期视觉表征的统一理论：基于解剖约束深度卷积神经网络

    通过使用深度卷积神经网络模型，本文发现视觉系统中的不同神经约束可以导致视觉处理的不同阶段产生不同的表征模式，并预测小型脊椎动物的视网膜应执行非线性的特征检测计算，而大型动物的视网膜应当基本以线性方式编码视觉场景以响应广泛的刺激。

    Jan, 2019

  • 从人脑中学习如何正则化机器

    通过使用大规模神经系统数据对卷积神经网络进行正则化来学习更强的神经特征，以提高模型对于对抗扰动和噪声的分类鲁棒性。

    Nov, 2019

  • 利用深度学习揭示初级视皮层图像的神经编码

    该论文使用深度卷积神经网络预测 V1 神经元对自然图像的响应，发现有 15% 的神经元可以准确预测，并使用逆神经网络确定激发 V1 神经元的图像特征（接受野），其中包括预测高级纹理图像特征的神经元。

    Jun, 2017