- 提升对最大流形容量表示的理解和利用
通过利用高维概率论工具和信息论的方法,本研究旨在提高对最大流形容量表示(MMCR)的理解和应用,并揭示其在多视角自监督学习中的几何和信息论视角的联系,同时通过实验和预测非单调性变化以改进 MVSSL 方法。
- 追求人类标注:无监督学习的新视角
HUME 是一个简单的模型无关框架,用于推断给定数据集的人类标签,无需任何外部监督。通过利用人类标签定义的类别在表示空间上是线性可分的洞察,HUME 指导数据集的所有可能标签的搜索,以发现潜在的人类标签。尽管其简单性,HUME 在多个基准图 - 自监督表征学习的线性分隔能力
研究表明,自监督学习和数据增强在从无标签数据中学习数据表示方面具有高效性,通过在这些增强表示之上训练线性模型可以得到熟练的分类器。本文探究了数据增强如何在多流形模型中实现线性分离,发现数据增强提供了超越观察数据的额外信息,可以改善线性分离能 - 通过隐藏层的线性可分性理解深度神经网络
我们通过线性可分性度量深度神经网络的隐藏层输出来研究其特征,发现隐藏层输出的线性可分性度量与网络的训练性能存在同步性,即如果更新的权重可以增强隐藏层输出的线性可分性,更新后的网络将获得更好的训练性能,反之亦然。此外,我们研究了激活函数和网络 - 隐藏分类层:关于数据隐藏表示和类之间更高线性可分性的研究
研究使用新的神经网络架构和错误函数在图像分类任务中改进分类器准确性的影响,提出了优先采用在隐层中数据表征更具线性可分性的训练方法,通过实验证明该方法可行。
- 对于(几乎)随机神经网络,对抗性噪声是线性可分的
通过理论证明及实验证据表明,对数据集加入一些对抗性的噪声可以给原始数据集注入一个分布扰动,并且这些噪声在特定条件下可以很轻易地被分类器分类。
- CVPR使用现成模型集成 GAN 训练
利用预训练计算机视觉模型的嵌入向量的线性可分性来选择最准确的子集,并以渐进式添加到鉴别器合集中,可以显著提升 GAN 训练的性能,在有限数据和大规模设置下都表现良好。
- 通过投影阻碍分类
研究了一种减少数据偏差的方法,使用几何问题对学习到的表示进行建模,在低维空间中通过简单的投影即可消除数据的线性可分性,同时保持其他性质的线性可分性;同时,文中还探讨了更复杂的分离性质和分类障碍与其 Helly 属性的关系。
- CVPR神经检查点的排序
本文主要研究神经网络检查点的转移学习问题,提出了一种神经网络检查点排名基准(NeuCRaB),并研究了一些直观的排名度量方法,其中线性可分性是转移性的强指标,并提出了一种新的排名度量方法 NLEEP 的实验表现最佳。
- ICML深度语言表示中可分离流形的出现
该研究使用均场理论流形分析来分析来自大规模上下文嵌入模型的语言表示,发现在不同的模型家族中出现了语言流形的证据,尤其是在多义词和包含许多单词的词性类别中,此外,发现这些流形中的线性可分性的出现是由流形半径、维度和流形间相关性的共同减少所驱动 - 基于测度集中的本地内在维度估计器
本文介绍了基于线性可分性的本地 ID 估算器,并与其他利用测量集中各种效应引入的 ID 估算器进行比较并研究其属性。观察到的估算器之间的差异可用于预期它们在实际应用中的行为。
- Radon 累积分布变换及其在图像分类中的应用
描述了一种组合了 Radon 变换和一维累积分布变换的非线性可逆图像处理变换,并通过理论和实验结果表明其可以将某些问题在变换空间中线性可分。