设计高效的统计监督学习算法的一大挑战是找到不仅在可用训练样本上表现良好，也在未知数据上表现良好的表示方法。本文建立了一个压缩性框架，通过标签或潜在变量（表示）的 “最小描述长度”（MDL）来推导表示学习算法的泛化误差的上界。通过与固定先验的训练集和测试集的表示（或标签）分布之间的 “多字母” 相对熵，而不是通常认为反映算法泛化能力的编码器输入和表示之间的互信息，建立了新的界限。本文的压缩性方法是信息论的，基于 Blum-Langford 的 PAC-MDL 界限，并引入了两个关键因素：块编码和有损压缩。最后，本文通过引入新的数据依赖性先验，部分利用了理论结果。数值模拟展示了选择良好的先验与 IB 中使用的经典先验相比的优势。

Feb, 2024

以代数学习（Algebraic Learning）为核心的人工智能（AI）范式被提出，采用两个方法（即引导模型设计和二级测量）以增强模型的可解释性，弥补深度学习模型难以解释的不足。

Mar, 2022

这项研究的目的是在多类学习中表征正则化的作用，并使用一种最优学习算法来控制模型容量，该算法与结构风险最小化、最大熵原理和贝叶斯推理相结合。同时引入一种新的学习者，通过在无监督学习阶段学习正则化器，实现结构风险最小化的放松，以及推导学习问题的归纳错误率。最后，引入了对偶误差的泛化和不可知情况的哈明图最优学习算法，通过最大熵程序实现最优学习。

Sep, 2023

机器学习与数学领域诸如统计学、概率论和线性代数等有着长期的合作传统。我们提出了机器学习研究的新方向：$C^*$- 代数机器学习。这是 $C^*$- 代数与机器学习的交叉授粉。$C^*$- 代数数学概念是复数空间的自然推广，它能够统一现有的学习策略，并构建一个更多样和信息丰富的数据模型框架。我们解释了为什么以及如何在机器学习中使用 $C^*$- 代数，并提供了在核方法和神经网络上设计 $C^*$- 代数学习模型的技术考虑。此外，我们讨论了 $C^*$- 代数机器学习中的未解问题和挑战，并提出了对未来发展和应用的思考。

Feb, 2024

该研究提出了一种名为等式学习器（EQL）的新型函数学习网络，可以学习解析表达式，并能够外推到未知的领域。通过稀疏正则化可以得到简洁明了的可解释表达式，可用于高效的基于梯度的训练。

Oct, 2016

本文探讨了连接主义和经典派对智能的实现方法，提出了一种混合方法来改进推理中的系统化泛化，通过代数表示来提高思维抽象能力，在 Raven's Progressive Matrices 任务中表现出比纯连接主义模型更好的推理性能，并且学到的代数表示具有生成能力。

Nov, 2021

这篇文章介绍了一种创新的方法来训练回归 MLP 网络，该方法不受局部极小值的影响，通过基于训练集分布特性或更好地说是神经网络内部的图像来避免局部极小值问题，并通过一个著名的基准测试展示了算法的性能。

Aug, 2023

我们提出了一个用于设计有效算法的通用框架，适用于无监督学习问题，如高斯混合和子空间聚类。我们的框架基于元算法，在存在噪声的情况下利用下界学习算术电路。其中一个关键组成部分是用于称为鲁棒向量空间分解的新问题的高效算法。我们展示了当某些矩阵具有足够大的最小非零奇异值时，我们的元算法表现良好。我们猜测这个条件在我们问题的平滑实例中成立，因此我们的框架可以在平滑设置中为这些问题提供有效算法。

Nov, 2023

ALAMO 是一种用于从数据中学习代数函数的计算方法，通过从数据中构建低复杂度的线性模型，并使用非线性变换，将线性模型精确逼近实际过程中的复杂行为，并使用无导数优化的误差最大化采样逐步细化模型。同时，该方法可以强制约束反应变量，以纳入基础知识，并用于进一步完善浓度模型，生成表现更好且满足模型输出上下限约束的模型。

May, 2017

理解神经网络学习到的内部表示是机器学习科学中的一个基石挑战。本文探讨了一个互补问题，即为什么网络会采用特定的计算策略，通过代数学习任务对用于这些任务的网络学到的特征进行了理论分析，证明了训练网络利用傅立叶特征进行模块化加法，以及使用与不可约群表示对应的特征来执行一般群的组合，与 Nanda 等人和 Chughtai 等人的实证观察密切一致。

Nov, 2023