Mar, 2011

线性阈值函数的独立分布可演化性

PDF
TL;DR本论文阐述了 Valiant 的进化稳定性模型，着眼于对 linear threshold function 以及其子集（如 conjunctions 和 decision lists）的的进化性度量， 提出了一种基于非线性损失函数的突变算法，并指出了该算法的单调性。同时，论文回答了该模型内具有分布无关性的 conjunctions 是否可以进化性的问题，并给出了否定答案，并用一个概念类的组合参数给出了低界。
evolvabilitylearning theoryconjunctionslinear threshold functionsmutation algorithm
发现论文，激发创造
  • 漂移目标进化

    本文介绍了一种使用相关查询技术构建抗漂移进化算法的策略和一种抗漂移的线性分隔算法以及其他新的抗漂移进化算法，并且证明了每个进化算法都可以被转换为具有准单调性的算法，从而不会在任何时候性能显着下降。

    May, 2010

  • 通过应用于可进化性的统计查询学习的全面表征

    本篇论文探讨了统计查询 SQ 学习模型的特点及其学习方法中的查询复杂度，并提出了一种新的基于 boosting 技术的 SQ 学习方法，该方法在维持学习的精确性的前提下有效提高了学习效率，同时证明了在 Valiant 的可进化模型中存在一大类单调进化学习算法。

    Feb, 2010

  • 进化算法运行时间下界的新方法

    从适应度水平分区、适应度水平间的转移概率等方面，提出了一种新的证明进化算法期望运行时间下界的方法，可获得 LO、OneMax、long k-paths 以及具有唯一最优解的所有函数的确切或近似下界，并可用于决定适当的最佳变异率，从而最小化期望的适应度计算次数。

    Sep, 2011

  • 通过函数转换的对抗风险界

    本文提出了一种用于衡量线性和神经网络分类器对对抗干扰的鲁棒性的对抗风险概念，并通过对函数变换的界定来推导出对抗风险的上界，藉此解决了标准学习理论技术无法解决的问题。同时，还探讨了该理论对于多分类和回归的扩展，并提出了两种算法用于优化线性案例下的对抗风险界，并与正则化和分布鲁棒性进行了联系。

    Oct, 2018

  • 竞争门限模型的可学习性

    本研究从理论角度研究了竞争阈值模型的可学习性，并证明了基于有限 VC 维度的人工神经网络能够无缝地对竞争阈值模型进行仿真，从而实现了分析样本复杂度和泛化界限。我们设计了有效的算法，并将理论洞见最终转化为实用和可解释的建模方法，其有效性通过几个合成和真实数据集的健全性检查得到验证。实验结果有希望表明，我们的方法不使用过多数据点便可以获得相当不错的性能，并且胜过现成的方法。

    May, 2022

  • 使用随机门进行特征选择

    本研究为高维非线性函数估计问题提出了一种基于 Bernoulli 分布连续松弛和梯度下降的特征选择方法，通过最小化指示变量向量的 l0 范数，同时选择相关特征和最小化损失函数。这种方法在合成和真实应用程序中表现出良好的潜力，并提供了将伯努利分布结合到我们方法中的信息理论证明。

    Oct, 2018

  • 一个与 ZF 公理无关的学习问题

    研究 Expectation Maximization 问题的可学习性和采样复杂度，特别是在布尔函数情形下的研究以及其与集合论关系的探讨，结论表明该问题的可学习性与集合论 ZFC 公理无关。

    Nov, 2017

  • 遗传算法和其他搜索过程的分层分析

    本论文描述了一种新的基于层级定理的技术，应用于任何非精英进程，并对几个伪布尔函数、排序问题和组合优化中的最优解逼近进行了演示。

    Jul, 2014

  • 等变模型的普适性与对称性的可学习性之间的权衡

    使用等变函数作为认知模型的假设条件下，学习具有对称性和等变性的函数是不可能的；我们探究了群和半群的逼近概念，分析了线性等变网络和群卷积网络是否满足该结果，并阐述了它们的理论和实际意义。

    Oct, 2022

  • 具有线性阈值激活函数的神经网络：结构与算法

    本文研究了使用线性阈值激活函数的神经网络，探究了这种类型的函数可以被表示的范围，证明了用两层隐藏层可以表示任何在这个范围内的函数。同时提出了一种算法，用于解决这种类型神经网络的经验风险最小化问题，可以在多项式时间内进行。基于这些研究发现，我们提出了一种新型神经网络 —— 快捷线性阈值网络。

    Nov, 2021