通过 RKHS 逼近理解基于增强的自监督表示学习

Jun, 2023

通过 RKHS 逼近理解基于增强的自监督表示学习

Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation

Runtian Zhai, Bingbin Liu, Andrej Risteski, Zico Kolter, Pradeep Ravikumar

TL;DR本文从 data augmentation 在 self-supervised learning 中的作用入手，结合 RKHS regression 和 Monte-Carlo approximation ，分析了不同 data augmentation 对模型性能的影响。

Abstract

Good data augmentation is one of the key factors that lead to the empirical success of self-supervised representation learning such as contrastive learning and masked language modeling, yet theoretical understanding of its role in learning good representations remains limited. Recent w

data augmentation self-supervised learning rkhs regression monte-carlo approximation augmentation complexity

发现论文，激发创造

利用神经网络逼近 RKHS 函数

通过使用神经网络来近似再生核希尔伯特空间中的泛函的普适性，以及将其应用于广义函数线性模型的函数回归，本研究探讨了将功能性数据（如时间序列和图像）整合到神经网络中学习函数空间到 R 的映射（即泛函）的方法。同时，通过在再生核希尔伯特空间中建立内插正交投影，提出的网络简化了现有的功能学习工作，使用点评估替代基函数展开。

Mar, 2024

近似比集中更有效？平滑径向核推理的近似观点

探讨了正定核及其相关重现核希尔伯特空间的逼近性质，包括核算子和矩阵的特征值衰减、特征函数 / 特征向量的性质、核空间中函数的 “傅里叶” 系数以及核的拟合能力等，并给出了限制在离散数据点上的重现核希尔伯特空间球体的胖打散维度的明确界限，讨论了正定核的容量限制及其对梯度下降等算法的影响。

Jan, 2018

大步长非参数随机逼近

本文研究了基于再生核 Hilbert 空间（RKHS）框架下的随机设计最小二乘回归问题，其中采用平均非正则化最小均方算法得到了最优收敛速率。

Aug, 2014

同态自监督学习

本文提出了一种称为同态自监督学习的通用框架来统一和概括现有许多自监督学习算法，理论上展示了它如何包括输入增强，提供增强同态特征提取器，在简单的增强实验中进行验证，同时进一步地探索了该框架的参数与传统基于增强的自监督学习的参数之间的关系，并讨论了这种新视角对自监督学习的潜在好处。

Nov, 2022

损失分解、弱监督学习和标签噪声鲁棒性

本文证明了大多数知名损失函数的经验风险因子可分为线性项，聚合所有标签和不涉及标签的项，并且可以进一步表示为损失的和。这适用于任何 RKHS 中的非光滑、非凸损失。通过估计平均操作符，本研究揭示了这种分解的变量的充分统计量，并将其应用于弱监督学习。最后，本文展示了大多数损失都享有一种依赖于数据的（通过平均算子）噪声鲁棒性。

Feb, 2016

带正则化最小二乘的分布式学习

使用分布式学习和最小二乘正则化方案，在再生核希尔伯特空间（RKHS）中对分块数据子集应用最小二乘正则化方案生成输出函数，以其平均值作为全局估计器或预测器，具有良好的 $L^2$ 度量和 RKHS 度量误差界限。在我们的积分算子方法中，通过运算符差分的新型二阶分解实现了分析，即使对于与一般核相关联的 RKHS 中的经典最小二乘正则化方案，我们也可以在文献中给出最佳的学习速率。

Aug, 2016

使用旋转不变核的自监督学习

本研究提出了一种基于核平均嵌入的正则化损失，该损失使用在超球（也称为点积核）上具有旋转不变性的核，用于自监督学习图像表示。除了与现有技术竞争力充分之外，我们的方法显着减少了自监督训练的时间和内存复杂度，使其可以在现有设备上实现非常大的嵌入维度，且比以前的方法更容易适应资源有限的设置。

Jul, 2022

用于顺序决策的元学习假设空间

本文提出了一种从离线数据（元学习）中元学习内核（Meta-KeL）的方法，以替代手动设计内核，解决了基于假设空间先验假设的置信度量（预测函数）的可靠性和适应性问题，并在基于内核的赌博机问题（Bayesian optimization）上进行了实证研究。

Feb, 2022

旋转等变对比学习结构化表示几何

本文提出了一种自我监督的学习方法，通过向嵌入空间添加额外的几何结构以获得更有意义的数据差异性表示，并引入等变目标使旋转操作在球面嵌入空间上的表现更佳，从而取得了更好的性能表现。

Jun, 2023

在线学习作为正则化路径的随机逼近

本文介绍一种在线学习算法，该算法是收敛于再生核希尔伯特空间（RKHS）中的回归函数的正则化路径的顺序随机逼近。通过小心选择增益或步长序列，我们展示了可以生产出批量学习的最佳已知强收敛速率，并给出了弱收敛速率，其在文献中达到了最小化和个人较低速率的最优水平，并利用 Hilbert 空间中鞍点型不等式为鞍点型型不等式的马尔可夫过程推导出几乎肯定的收敛。通过类似于批量学习设置的偏差 - 方差分解，我们证明偏差包括沿正则化路径的逼近误差和漂移误差，这些误差显现了相同的收敛速率，而方差则来自样本误差，分析为反向鞍点型差分序列，上述速率通过偏差和方差之间的最佳折衷得到。

Mar, 2011