Jun, 2023

Rosetta 神经元：在模型库中挖掘公共基元

PDF
TL;DR本篇论文旨在探究在不同任务、架构和不同监督方式（包括有标签和无标签）的神经网络中，是否存在一些相同的表征。研究发现，通过挖掘 Rosetta Neurons 字典，可以发现在不同的视觉模型中都存在一些通用的视觉概念和结构，这些 Rosetta Neurons 可以实现模型之间的翻译并且进行跨类别的对齐、平移、缩放等操作，而不需要特殊训练。
发现论文，激发创造
  • 深度视觉特征的自然语言描述

    该研究提出了一种名为 MILAN 的程序，通过相互信息引导的语言注释对神经元进行自动标记，并可以生成细粒度的描述，以促进对神经网络的理解、分析和控制，并提供了自然语言神经元描述的三个应用实例。

    Jan, 2022

  • 预训练纯文本 Transformer 中的多模态神经元

    通过向文本转换器添加视觉信息，我们研究了冻结的文本转换器如何使用自监督视觉编码器和单一线性投影将一种模态的学习表示迁移到另一种模态，在转换器内部发现了模态之间的转换，并通过识别多模态神经元和解码它们注入模型剩余流的概念来验证其作用。通过一系列实验证明多模态神经元在特定的视觉概念上操作，并对图像字幕生成产生系统性的因果影响。

    Aug, 2023

  • GPT2 语言模型中的通用神经元

    通过计算 GPT2 模型中神经元激活的成对相关性，研究了不同随机种子下神经元的普遍性，并发现 1-5% 的神经元是普遍的，即这些神经元在相同输入上持续激活。此外，对这些普遍神经元进行了详细研究，发现它们通常具有清晰的解释，并将其归类到几个神经元家族中。最后，通过研究神经元权重的模式，确定了神经元在简单电路中的几个普遍功能角色：关闭注意力机制、改变下一个标记分布的熵，以及预测下一个标记是否在特定集合内。

    Jan, 2024

  • 使用大型模型对深度视觉神经元进行自动化自然语言解释

    通过研究神经元来解释深度神经网络并生成语义解释，以解决目前在此方面的限制、缺乏可伸缩性和适用性的问题。

    Oct, 2023

  • 神经元专业化：利用内在任务模块化实现多语言机器翻译

    通过神经元特化，提出一种解决多语言翻译中干扰和促进知识转移的方法，并通过大量实验证明了其相比强基准模型的性能提升以及减少干扰并增加知识转移的效果。

    Apr, 2024

  • DINOv2: 无监督学习强韧可靠的视觉特征

    本文提出了一种基于预训练和自监督方法的计算机视觉模型，该模型使用大量的数据自动构建一种多样的图像数据集，能够在各种任务和图像的情况下快速、高效地生成功能强大的视觉特征。

    Apr, 2023

  • 随机协同训练：从大脑皮层神经元到机器学习再回来

    该论文旨在研究人类大脑皮层学习和计算的简单元算法，提出了基于随机协同训练的生物可行元算法，探索了对训练样本标签稀疏的学习过程，以及提出的算法在半监督学习中的性能表现。

    Oct, 2013

  • 基于循环多任务神经网络的集成感知

    探讨了深度神经网络能否学习到通用的图像表示，并提出一种名为 MultiNet 的新模型，在共享特征的基础上，通过在共同的表征中相互交互来整合各个任务的解决方案，实现了在标准基准测试中提高各个任务性能的目的。

    Jun, 2016

  • 同一神经元，不同语言：探究多语言预训练模型中的形态语法

    该研究采用神经元级别探测器，在包括 43 种语言的 14 个形态句法类别上进行了大规模的实证研究，并发现了多语言预训练模型的跨语言重叠是显著的，但其范围可能因语言接近性和预培训数据的大小而异，支持其能够对语法进行语言通用的抽象。

    May, 2022

  • 从视网膜到皮层的早期视觉表征的统一理论：基于解剖约束深度卷积神经网络

    通过使用深度卷积神经网络模型，本文发现视觉系统中的不同神经约束可以导致视觉处理的不同阶段产生不同的表征模式，并预测小型脊椎动物的视网膜应执行非线性的特征检测计算，而大型动物的视网膜应当基本以线性方式编码视觉场景以响应广泛的刺激。

    Jan, 2019