文中介绍了一种基于赫布学习规则的神经网络模型，并研究了模式检索和容量特性，使用完全升级随机对偶理论得到精确的容量特性，并展示了快速升级收敛的结果。

Mar, 2024

本文概述了现有的误差界限，并引入了感知器或核感知器算法的新界限。我们的新界限一般化超出了标准的边际损失型界限，允许任何凸和 Lipschitz 损失函数，并且具有非常简单的证明。

May, 2013

本研究提出一种新的框架，超越了传统统一收敛方法的限制，将排列不变预测器的交叉检验误差转化为高概率风险界，并通过 Haussler, Littlestone, 和 Warmuth 的一种算法在二元分类中实现了最优 PAC 界限。在多类分类、部分假设分类和实现有限的回归等三种不同场合中，我们证明了该框架的优越性能。

Apr, 2023

提出一种迭代计算分散无记忆信道容量的方法，包括对输入分布的附加约束；利用凸规划的对偶性，获得了容量的显式上下界。该方法的复杂度为 O（M ^ 2 N√（log N）/ε），其中 N 和 M 分别表示输入和输出字母表的大小；单次迭代的复杂度为 O（MN）。同时，针对有限连续输入和可数输出字母表的无记忆信道提出了近似计算容量的方法，在一些关于信道尾部的渐变速率的温和假设下可以实现（离散时间泊松信道属于该问题类），并给出了其在峰值功率输入约束下的上下界估计路段作为案例研究

Jul, 2014

通过分析权重空间结构得到 Franz-Parisi 势能解决二元感知器问题，发现权重空间由孤立解构成，而不是非常接近的集群，这些点状集群在权重空间中相距很远，解释了以前观察到的随机局部搜索启发式算法的玻璃态行为。

Aug, 2014

提出了一种关于最小二倍经验风险下界的理论证明，并明确了最小二倍经验风险学习算法的特点，其中包括极限对称性和最小随机化 “投票” 程序。

Jun, 2016

该论文提供了一种将二元多数表决分类器风险紧密上限扩展到多类和多标签设置中的 C-bound 泛化方法。

Jan, 2015

提出一种基于数据驱动的算法，利用最小化通道输出上的参考分布来估算未知通道法和连续输出字母表上通道容量上界的估算方法，并使用修改的互信息神经估计器来计算所需的条件通道和参考分布之间的散度最大化，在不同的无记忆通道上进行数字评估，证明了该方法估算的上界要么接近通道容量，要么接近最佳已知下界。

May, 2022

针对多数表决在二元分类中的行为，提出了一种风险界定 ——C-bound，考虑到选民的平均质量和平均分歧，结合具有自我包容性的 PAC-Bayesian 分析可从训练数据中估计 C-bound，最终提出基于 C-bound 最小化的 MinCq 算法，达到与 AdaBoost 和 SVM 相当的效果。

Mar, 2015

本研究以 Rosenblatt 的定理为基础，讨论了神经元元件可以解决任意分类问题，并且对有限制的元素感知器的解决能力作出了限制，并通过深浅两种神经网络算法实现迷宫问题的解决和复杂度分析，最终得出深度学习在大规模问题上较浅层网络更为优秀的结论。

Aug, 2022