NIPSJun, 2018

使用规范相关方法揭示神经网络中的表示相似性见解

PDF
TL;DR作者们通过投影加权规范相关分析法（projection weighted CCA）研究神经网络的表征学习。研究发现，广泛的神经网络更容易获得相似的表征，与学习速率相关的神经网络收敛到具有不同表征的不同聚类中，RNN 随着时间的推移呈自底向上的模式聚合，而其隐藏状态在序列的不同时间间隔内变化较大。
发现论文，激发创造
  • 神经网络表示的相似性再探讨

    本文介绍了基于规范相关分析（CCA）方法的神经网络表示比较方法，并提出了一种相似度指数来测量表示相似性矩阵之间的关系，该指数与中心核对齐（CKA）密切相关，但不受高维表示限制，具有可靠性。与 CCA 不同，CKA 方法可在不同初始化的网络表示中可靠地识别对应关系。

    May, 2019

  • 利用统计检验来建立表示相似性

    本文提供了一个框架来验证神经网络的行为，通过功能行为敏感性和特异性等方面测试常用的神经网络模型评估方法，研究发现当前的评估指标存在不同缺陷，一个经典的基线表现出人意料的好，作者对所有指标都无法胜任的场景进行了强调，并为未来的研究提供了挑战性的基础数据。

    Aug, 2021

  • 关联神经网络

    该研究提出了基于自编码器且明确地最大化多视角数据在共同子空间中的相关性的相关神经网络（CorrNet），在交叉语言任务方面表现良好，并优于其他先进方法。

    Apr, 2015

  • 深度学习中局部距离相关性的多用途应用

    本研究使用距离相关性技术进行深度学习模型的功能行为比较，发现距离相关性可以作为多种应用的正则化程序或约束条件，避免了常见困难。

    Jul, 2022

  • 利用主成分分析探索神经网络的学习表示

    对深度神经网络的特征表示进行理解仍然是可解释人工智能领域中一个开放问题。本研究使用主成分分析（PCA）来研究在 CIFAR-10 上训练的 ResNet-18 的逐层学习表示对 k 最近邻分类器（k-NN）、最近类中心分类器（NCC）和支持向量机的性能的影响。我们发现，在某些层次上，仅需 20% 的中间特征空间方差即可实现高精度分类，并且在所有层次上，前 100 个主成分完全决定了 k-NN 和 NCC 分类器的性能。我们将研究结果与神经崩溃现象联系起来，并提供了中间神经崩溃相关现象的部分证据。我们的初步工作利用线性仿射模型展示了三个不同但可解释的特征表示的代理模型，其中性能最好的是仿射线性模型。我们还展示了利用几个代理模型来估计 DNN 中可能开始出现神经崩溃的聪明方法。

    Sep, 2023

  • 非参数标准相关分析

    本研究采用特征值分解解决非参数正相关分析问题，通过数据估计种群密度，降低计算负担，提高非参数 CCA 的性能，同时提出了部分线性 CCA 算法用于处理单个视图的线性投影问题。

    Nov, 2015

  • 从规范相关分析到自监督图神经网络

    本文介绍了一种用于自监督图数据表示学习的概念简单而有效的模型，其通过数据增强生成输入图的两个视图，并通过受经典标准相关分析启发的创新特征级目标进行优化，旨在学习不变表示，并通过不同维度中的相关特性来防止退化解决方案，最终在七个公共图数据集上表现竞争力。

    Jun, 2021

  • 用 2-Way Nets 实现图像和文本的链接

    本文介绍了一种双向神经网络架构，该架构通过使用欧几里得损失将两个数据源的向量进行匹配，并演示了在 MNIST 图像匹配和 Flickr8k、Flickr30k 和 COCO 数据集上的计算机视觉匹配任务中的最新结果。

    Aug, 2016

  • 大规模循环网络中神经动力学的普遍性和个体差异

    通过研究数千个基于神经科学的任务训练的网络，我们发现基于表示几何的相似度测量在不同网络结构中可能高度敏感，并且无论架构如何，神经动力学的计算骨架通常表现出普遍性。

    Jul, 2019

  • 深度广义典型相关分析再探

    探索多个观测随机向量之间的潜在共变性的经典统计方法 —— 典型相关分析 (CCA) 以及其扩展和变化在发现多视图数据集中的共同随机因素方面的能力。该研究设计了一种新颖高效的模型，适用于典型相关分析的深度扩展，并克服了现有方法的局限性，将私有组件建模为在给定共同组件的条件下条件独立，从而提供了一种更紧凑的表述形式。通过合成数据和实际数据的实验验证了我们的结论和方法的有效性。

    Dec, 2023