Mar, 2024

置换不变函数：统计检验、度量熵降维和估计

PDF
TL;DR本文主要研究排列不变性在机器学习中的应用，特别关注在多变量概率分布中如何统计性地检测排列不变性，以及排列不变性在简化维度估计中的作用，并针对此提出了测试方法和回归方法。
permutation invariancemachine learningmultivariate probability distributionstatistical theorykernel ridge regression
发现论文，激发创造
  • 在具有随机特征和核模型中学习不变性

    该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法，其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明，建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低，从而在保持测试误差不变的情况下提高统计效率。此外，研究表明，数据增广与无结构核估计等价于一个不变性核估计，具有相同的统计效率。

    Feb, 2021

  • 学习 Wasserstein 距离的置换不变网络

    通过置换不变网络将样本从概率测度映射到低维空间，使编码样本之间的欧几里得距离反映概率测度之间的 Wasserstein 距离，进一步证明了该网络可以推广到正确计算未见密度之间的距离，并且可以学习到概率分布的第一和第二矩。

    Oct, 2020

  • 高维度和置换不变异常检测

    本文提出了一种基于扩散模型的置换不变密度估计器，特别是为了应对具有可变长度输入的物理数据，这种方法在感知不变性和可变长度输入方面具有优势，在异常探测领域具有良好的效果。

    Jun, 2023

  • Deep Sets

    研究设计用于基于集合的机器学习任务模型的问题，提出一种特殊结构的函数族，设计可以在未监督和监督学习任务中应用的深度网络架构，并演示了在人口统计估计，点云分类，集扩展和异常检测等任务上的应用。

    Mar, 2017

  • 置换不变矩阵统计与计算语言任务

    本文介绍了由 Kartsaklis，Ramgoolam 和 Sadrzadeh 引入的语言矩阵理论（Linguistic Matrix Theory）计划，旨在研究基于置换不变多项式函数的矩阵统计学，从组合式分布语义（compositional distributional semantics）中生成的矩阵分布的近似高斯性，介绍了一个单词的可观察向量的几何形状，成功地将此一统一框架应用于计算语言学的许多任务，包括近义词、反义词、上位词和下位词之间的区别。

    Feb, 2022

  • 关于核方法在分类器固有属性是排名时的应用

    研究使用再生核希尔伯特空间方法从排列值特征中学习，并通过表征两个核的特征空间、谱特性、多项式核等方法展示实用性。

    Mar, 2016

  • 利用无限可分核从数据中测量熵

    本文提出了一个使用再生核希尔伯特空间中的算子直接从数据中非参数地获取熵测度的框架，并定义了类似于量子熵的熵泛函，此方法避免了估计底层概率分布。同时定义了基于核的条件熵和互信息的估计量，并在独立性测试上进行了数值实验且表现良好。

    Nov, 2012

  • 线性单元测试用于不变性发现

    本文提出六种线性低维度问题，即单元测试，以精确评估不同类型的超出分布泛化问题，提供代码以自动复制所有结果，希望我们的单元测试成为超出分布泛化研究人员的标准起点。

    Feb, 2021

  • 使用置换辅助的熵维度降低线性可扩展学习平滑低维模式

    该研究介绍了一种基于欧式平滑度作为模式质量标准的无监督熵正则化迭代优化问题，能够高效地从高维数据中提取出稀疏的、经过排列的低维平滑模式，有效地实现了降维和特征提取，且在实际应用中能够识别同时最小化破产风险的平滑转换模式。

    Jun, 2023

  • 通过轻量不变特征学习对称矩阵和点云上的函数

    提出了用于机器学习对称矩阵上不变函数和对点云上不变函数的数学公式，并结合 DeepSets 在不同尺寸的对称矩阵和点云上学习函数的可行性。

    May, 2024