Jun, 2020

无监督深度学习识别单个颞下皮层神经元内语义解缕

PDF
TL;DR使用深度非监督生成模型（beta-VAE）对猕猴 IT 中面孔的神经响应进行建模，发现与单个 IT 神经元编码的因素具有显著的对应关系，提示脑的视觉通路可能优化解缠绕目标，产生低维且在单元水平上具有语义解释力的神经编码。
deep supervised neural networksit responsesunsupervised generative modeldisentangling objectiveneural code
发现论文，激发创造
  • 使用无监督深度学习进行早期视觉概念学习

    本文提出了一种基于无监督学习、从神经科学中获得灵感的方法，利用变分自编码器对图像数据进行学习，从而获得解耦表示。该方法可以使神经科学的研究成果得以应用到实际中，同时还有零样本推理和直观理解的优点。

    Jun, 2016

  • 性能优化的深度神经网络正在演变成更差的下颞顶叶视觉皮层模型

    本文发现，尽管深度学习神经网络在图像识别任务上比人类表现更好，但它们不能很好地预测自然图像在颞下皮层 (IT cortex) 的神经响应，我们提出了神经协调器，通过该工具可以纠正这个问题。

    Jun, 2023

  • ProtoVAE: 无监督解缠的原型网络

    介绍了一种基于深度生成 VAE 模型和基于自我监督的深度度量学习 prototype 网络的方法，在无监督的情况下学习到可解释且区分的潜在因素表达式，实验结果表明了该方法在多个数据集上的表现优于现有方法。

    May, 2023

  • 离散单元引导的面罩建模：从颅内神经信号解码语音

    通过构建多元神经表示，Du-IN 模型可以从特定的脑区提取上下文嵌入，从而在语言相关的脑网络上实现了 SOTA 性能。

    May, 2024

  • 使用深度学习进行动态自然视觉的神经编码和解码

    研究表明，使用卷积神经网络 (CNN) 驱动的图像识别技术不仅能在下流视觉区域说明大脑对静态图片的反应，还能可靠地预测和解码人类观看自然电影时的功能性磁共振成像数据，并通过缺少有关时间动态或反馈处理机制的 CNN-Predicted areas 覆盖了包括腹侧流和背侧流在内的大部分视觉和语义空间。

    Aug, 2016

  • 一种用对抗神经张量方法学习分离表示的方法

    本文提出了一种无监督的深度学习方法来分离在野外拍摄的脸部图像中的多个潜在变化因素，其中多个潜在变化因素的乘法交互通过多线性（张量）结构明确地建模。该方法学习了面部表情和姿态的分离表示，可用于各种应用，包括面部编辑，以及三维面部重建和面部表情、身份和姿态的分类。

    Nov, 2017

  • 使用 pi-VAE 学习高维神经活动的可识别和可解释潜变量模型

    论文提出了 pi-VAE 这一将潜在变量模型和神经编码模型相结合的新方法，用于分析神经元群体响应数据，并通过合成和实验数据在大鼠海马和恒河猴运动皮层数据集中进行了验证，证明了该方法具有更好的拟合功效和可解释性，可以为神经编码结构提供新的见解。

    Nov, 2020

  • 使用人工神经网络探究依赖于海马的任务中场景感知的神经表示

    该研究通过使用三元组损失训练深度神经网络，使其学习场景感知任务和无监督的目标分割，在编码和解码中使用分解的潜在空间，实现在视角变换时实现场景的转换和重建。

    Mar, 2023

  • 在人工和生物神经系统中识别可解释的视觉特征

    在神经网络中，单个神经元往往是 “可解释的”，因为它们代表了个别直观有意义的特征。然而，许多神经元表现出混合选择性，即它们代表多个不相关的特征。最近的假设提出深度网络中的特征可能通过多个神经元以非正交的方式进行 “叠加”，因为自然数据中可解释的特征数量通常大于给定网络中的神经元数量。因此，我们应该能够在激活空间中找到与个别神经元不一致的有意义方向。在这里，我们提出了（1）一种自动化方法，用于量化视觉可解释性，并与人类心理物理学对神经元可解释性的大型数据库验证，以及（2）一种在网络激活空间中找到有意义方向的方法。我们利用这些方法在卷积神经网络中发现了比个别神经元更具直观意义的方向，通过一系列分析进行了确认和调查。此外，我们将相同的方法应用于大脑中两个最近的视觉神经响应数据集，并发现我们的结论在大部分转移到真实神经数据上，这表明大脑可能使用了叠加。这也与去纠缠有关，并在人工和生物神经系统中提出了关于稳健、高效和分解表示的基本问题。

    Oct, 2023

  • 解缠对神经网络剪枝的影响

    部署深度学习神经网络在边缘设备上，实现真实世界中特定目标，需要减少其内存占用、功耗和延迟。高效模型压缩可以实现这一目标。变分自编码器（VAE）网络产生的解缠缠绕的潜在表示是实现模型压缩的有希望方法，因为它们主要保留了与任务相关的信息，并丢弃了对当前任务无用的信息。我们利用 Beta-VAE 框架结合标准修剪准则，研究了迫使网络学习解缠缠绕表示对于分类任务的修剪过程的影响。具体来说，我们在 MNIST 和 CIFAR10 数据集上进行实验，研究了解缠缠绕的挑战，并为未来的研究提出了一个方向。

    Jul, 2023