Aug, 2016

核风险敏感损失函数：定义，特性及其在鲁棒自适应滤波中的应用

PDF
TL;DR本文提出了一种新的核空间相似度衡量方法 —— 核风险敏感损失，并将其应用于自适应滤波和鲁棒性研究，发现相比于 correntropy，KRSL 不仅能够在梯度法中提高收敛速度和精度，而且还能减少异常值的影响。理论分析结果和仿真实验证明了该算法的优异性能。
nonlinear similarity measureskernel spacekrsladaptive filteringrobustness
发现论文，激发创造
  • 自监督学习的核 KL 散度

    该研究通过重现核希尔伯特空间理解现有的许多非对比学习方法，提出了一种新的核 SSL 损失函数，可直接优化 RKHS 中的均值嵌入和协方差算子，并在 ImageNet 数据集上的线性评估设置下大幅优于现有技术方法。

    May, 2023

  • RKHS 中最优滤波的另一种观点

    利用根据时间结构定义的相干信息、扩展的协方差函数以及时间基函数，为在 Reproducing Kernel Hilbert Space 中创建更高效的函数表示提供了一个有希望的研究方向。

    Dec, 2023

  • 非参数学习非局部算子中的核函数

    本文采用数据自适应 RKHS Tikhonov 正则化方法，提出基于可识别性函数空间的非局部算子核学习的收敛估计器，成功地从实际数据中学习微观尺度上应用于非均质固体的应力波传播的均质化模型，并在健壮性，泛化性和准确性方面优于基线方法。

    May, 2022

  • 损失分解、弱监督学习和标签噪声鲁棒性

    本文证明了大多数知名损失函数的经验风险因子可分为线性项，聚合所有标签和不涉及标签的项，并且可以进一步表示为损失的和。这适用于任何 RKHS 中的非光滑、非凸损失。通过估计平均操作符，本研究揭示了这种分解的变量的充分统计量，并将其应用于弱监督学习。最后，本文展示了大多数损失都享有一种依赖于数据的（通过平均算子）噪声鲁棒性。

    Feb, 2016

  • 核回归在凸风险最小化中的一致性和稳健性

    研究了一个广泛类别的现代基于核的回归方法的统计特性，包括与损失函数和响应变量的尾部关系、一致的 $L$-risk 以及这些方法的鲁棒性质，包括损失函数、核和封闭函数的组合，反应有限样本版本的敏感度曲线和 KBR 与经典 $M$ 估计器的关系。

    Sep, 2007

  • 核对齐风险估计器：从训练数据中预测风险

    通过 KRR、SCT 和 KARE 的引入，利用 Wishart 随机矩阵的 Stieltjes 变换进行有限尺度分析，得出一个 KRR 风险的近似值，同时基于这个近似值提供了一种有前景的选择如何进行 Kernels 建设的数据依赖性程序。

    Jun, 2020

  • 强健在线学习的最优性

    本研究提出了一种基于 robust loss function 的在线学习算法，通过选择合适的 scaling parameter 和步长，可以达到最优的收敛速度并且实现在均方距离和 Hilbert 空间强收敛速度的最优容量相关率，这两个结果都是在线学习领域中的新成果。

    Apr, 2023

  • 稳健核稀疏子空间聚类

    我们提出了一种新的鲁棒核稀疏子空间聚类（RKSSC）算法，可用于具有严重稀疏损坏的数据，该算法可以通过核技巧将非线性问题转化为映射后的高维特征空间中的线性问题，以实现对这种类型损坏的稳健性。

    Jan, 2024

  • 核岭回归中快速统计杠杆得分近似

    该论文提出了一种基于线性时间算法的方法来精确近似统计杠杆分数，以选取代表性的子样本，运用于 Nyström 近似中，以提高预测准确性和减少计算成本。

    Mar, 2021

  • 核心语言熵：基于语义相似性的 LLMs 细粒度不确定性量化

    在大型语言模型中，不确定性量化对于关系到安全性和可靠性的应用至关重要。我们提出了 Kernel Language Entropy（KLE），这是一种用于估计白盒和黑盒语言模型中不确定性的新方法，它能够捕捉到模型输出的语义不确定性，并通过 von Neumann 熵来量化不确定性。实验证明，KLE 在多个自然语言生成数据集和语言模型架构上提供了更好的不确定性量化性能。

    May, 2024