本文提出了一个使用再生核希尔伯特空间中的算子直接从数据中非参数地获取熵测度的框架，并定义了类似于量子熵的熵泛函，此方法避免了估计底层概率分布。同时定义了基于核的条件熵和互信息的估计量，并在独立性测试上进行了数值实验且表现良好。

Nov, 2012

本文介绍了基于重现核希尔伯特空间中投影数据的 Hermitian 矩阵的归一化特征谱而发展起来的基于矩阵的 Renyi's alpha-entropy functional 及其多元扩展方法，拓展其使用价值并应用于卷积神经网络（CNN）中，通过发展三个量来分析卷积层表示中的协同作用和冗余，验证了两个基本的数据处理不等式，揭示了训练 CNN 的一些基本特性。

Apr, 2018

该论文提出了一种基于信息理论的方法，使用内核化的 Renyi 熵刻画了随机梯度下降算法的学习效率，实现了更紧密的泛化误差界限。

May, 2023

本文首次提供了 Nyström 方法用于求解不定核的低秩矩阵逼近的数学完整证明，并提出了一种高效的方法来寻找这种核矩阵的近似特征分解，以此构建可在再现核 Krein 空间中学习的高度可扩展方法。这些方法提供了一种有原则的并且理论基础良好的方法来解决大规模关于不定核的学习问题。本文的主要动机来自于具有结构表示的问题（例如图形，字符串，时间序列），在这些问题上，根据直觉和 / 或领域专家的知识很容易设计出一对一的（不）相似度函数。这些函数通常不是正定形的，并且超出了实践者的专业知识范围。本文使用不定核构建在结构化和向量化数据表示中，通过经验证明了这些方法的有效性。

Sep, 2018

本文介绍了基于矩阵的 Renyi 的 α 阶熵函数及其在多变量信息量例如多变量联合熵和变量之间不同的交互量，交互信息和总相关度的估计方面的应用，还提供了一个实际的高光谱图像（HSI）波段选择的例子。

Aug, 2018

探讨了正定核及其相关重现核希尔伯特空间的逼近性质，包括核算子和矩阵的特征值衰减、特征函数 / 特征向量的性质、核空间中函数的 “傅里叶” 系数以及核的拟合能力等，并给出了限制在离散数据点上的重现核希尔伯特空间球体的胖打散维度的明确界限，讨论了正定核的容量限制及其对梯度下降等算法的影响。

Jan, 2018

使用机器学习中的大规模问题为背景，本论文针对输入变量个数趋向无穷大的情况展开研究。首先，我们完善了核和其再生核希尔伯特空间均值场极限的现有理论。接下来，我们提供了与这些核在均值场极限下逼近相关的结果，包括一个再现者定理。最后，我们将这些核应用于均值场极限下的统计学习，重点是支持向量机。特别地，我们展示了经验和无穷样本解的均值场收敛，以及相应风险的收敛。一方面，我们的结果在核方法的背景下建立了严谨的均值场极限，为大规模问题提供了新的理论工具和洞见。另一方面，我们提出了一种尚未在统计学习理论文献中研究的学习问题形式。

Oct, 2023

本文提供一种有限样本和无限样本再生核希尔伯特空间的（线性组合的）核函数连接的表现定理，将分析函数组成的机器学习算法的数学基础。同时，我们还展示了如何将连接的机器学习问题重构为神经网络，并说明了我们的表现定理适用于各种先进的深度学习方法。

Sep, 2017

本文提出一种基于信息论的学习鲁棒性深度表示的新颖目标函数，通过将数据投影到特征矢量空间，最大化相对于监督信号的所有特征子集的互信息，得到鲁棒表示，其对噪声或不可用特征的信息保留能力较强，我们利用一种替代目标函数最小化的方式实现此目标函数并进行实验验证。

May, 2019

通过建立适当的零和游戏，采用概念上的方法来证明相互信息的下限，进而推广到具有高阶交互作用的任意马尔科夫随机场，从而获得在 n 个节点上学习具有 r 阶相互作用的有界次数图上的马尔科夫随机场的算法，样本复杂度为 log (n)，时间复杂度为 n^r。

May, 2017