核最大化依赖下的自主学习

Jun, 2021

Self-Supervised Learning with Kernel Dependence Maximization

Yazhe Li, Roman Pogodin, Danica J. Sutherland, Arthur Gretton

TL;DR本研究从统计相关性的角度探讨自我监督学习方法，提出了一种基于 Hilbert-Schmidt 独立性准则（SSL-HSIC）的自我监督学习方法，该方法最大化与图像表示转换和图像身份的相关性，并将那些表示的核化方差最小化。实验表明，该方法在 ImageNet 数据集上的表现可以匹敌当前的最佳方法。

Abstract

We approach self-supervised learning of image representations from a statistical dependence perspective, proposing self-supervised learning

self-supervised learning hilbert-schmidt independence criterion image representations mutual information infonce

发现论文，激发创造

希尔伯特 - 施密特独立准则下的强健学习

使用 HSIC 作为损失函数学习鲁棒回归和分类模型，以期望产生具有良好概括性能力的模型用于处理无监督共变量漂移任务，实验表明其优于标准损失函数取得最新成果。

Oct, 2019

通过依赖估计的监督特征选择

本文提出了基于 HSIC（Hilbert-Schmidt Independence Criterion）的特征选择框架，旨在将各种监督学习问题（包括分类和回归）统一起来。该方法通过后向逐步消除算法进行求解，Maximise features and labels 之间的相关性，并在人工和实际数据集上展示了该方法的有效性。

Apr, 2007

平移不变核 HSIC 估计的极小最大速率

在本研究中，我们证明了具有连续有界平移不变特征核的 Borel 测度中，Hilbert-Schmidt 独立性准则（HSIC）在 R^d 上的最优最小化估计率为 O (n^(-1/2))，从而证实了许多经常使用的估计器（包括 U 统计量、V 统计量和 Nystrom-based 统计量）在 R^d 上的最小化最优性。

Mar, 2024

自监督学习的核 KL 散度

该研究通过重现核希尔伯特空间理解现有的许多非对比学习方法，提出了一种新的核 SSL 损失函数，可直接优化 RKHS 中的均值嵌入和协方差算子，并在 ImageNet 数据集上的线性评估设置下大幅优于现有技术方法。

May, 2023

核独立性检验的一种更简易的一致性条件

本文使用希尔伯特 - 施密特独立准则（HSIC）作为检验统计量，构建了独立性的统计检验方法，通过分析联合分布的嵌入和边缘分布乘积的嵌入之间在再生核希尔伯特空间中的距离来定义 HSIC。通过本文的研究结果表明，即使在联合分布的核函数不具有特性的情况下，在各自的域上的边缘核函数具有特性的基础上，也可以构建基于 HSIC 的独立性统计检验，并保持其一致性。

Jan, 2015

关于特征选择中核依赖最大化的限制性研究

通过反例，我们证明了使用 Hilbert-Schmidt 独立性准则（HSIC）来进行特征选择的基本原理是错误的，而且通过 HSIC 的最大化可能会忽略掉关键特征。

Jun, 2024

自编码架构中的依赖瓶颈：一项实证研究

研究通过使用 Hilbert-Schmidt 独立准则（HSIC）作为依赖度量来测量 DNN 中图层之间的依赖关系，从而更准确地研究 DNN 中的信息瓶颈和泛化特性，并在实验中评估了该方法在 auto-encoding 的应用。

Feb, 2018

信息最大化准则的自监督学习

本文介绍一种基于互信息的 self-supervised 方法 CorInfoMax，该方法通过最大化高斯混合分布下的互信息解决了 mode collapse 和 dimensional collapse 问题。

Sep, 2022

HSIC 瓶颈：无需反向传播的深度学习

介绍了使用 HSIC 瓶颈训练深度神经网络，它可以缓解爆炸和消失梯度的问题，实现了在没有跳跃连接的情况下学习非常深的网络，而且在不需要对称反馈或更新锁定的情况下，可以获得 MNIST / FashionMNIST / CIFAR10 分类等优异的性能。同时，使用 SGD 训练单独的一层可以进一步提高性能。

Aug, 2019

点积 HSIC：一种稀疏语言表达的线性时间核共现规范化方法

本文提出了一种基于 Hilbert-Schmidt 独立准则（HSIC）的新内核共现测量方式，称为 pointwise HSIC（PHSIC），可用于稀疏语言表达（例如句子），并且学习时间非常短，是点间互信息（PMI）的替代方法，并且在对话响应选择任务中，PHSIC 比基于 RNN 的 PMI 快几千倍的学习速度，同时准确性也更好。

Sep, 2018