Oct, 2023
在人工和生物神经系统中识别可解释的视觉特征
Identifying Interpretable Visual Features in Artificial and Biological Neural Systems
David Klindt, Sophia Sanborn, Francisco Acosta, Frédéric Poitevin, Nina Miolane
TL;DR在神经网络中，单个神经元往往是 “可解释的”，因为它们代表了个别直观有意义的特征。然而，许多神经元表现出混合选择性，即它们代表多个不相关的特征。最近的假设提出深度网络中的特征可能通过多个神经元以非正交的方式进行 “叠加”，因为自然数据中可解释的特征数量通常大于给定网络中的神经元数量。因此，我们应该能够在激活空间中找到与个别神经元不一致的有意义方向。在这里，我们提出了（1）一种自动化方法，用于量化视觉可解释性，并与人类心理物理学对神经元可解释性的大型数据库验证，以及（2）一种在网络激活空间中找到有意义方向的方法。我们利用这些方法在卷积神经网络中发现了比个别神经元更具直观意义的方向，通过一系列分析进行了确认和调查。此外，我们将相同的方法应用于大脑中两个最近的视觉神经响应数据集，并发现我们的结论在大部分转移到真实神经数据上，这表明大脑可能使用了叠加。这也与去纠缠有关，并在人工和生物神经系统中提出了关于稳健、高效和分解表示的基本问题。