Jun, 2024

极限学习机理论框架的关键分析

PDF
TL;DR尽管极限学习机在许多应用中取得了成功，但我们发现其基本原理缺乏严格的数学证明。具体而言，我们推翻了两个主要陈述的证明，并创建了一个数据集来提供 ELM 学习算法的反例，并解释其设计，这引发了许多这样的反例。最后，我们提供了基础的替代陈述，以在一些理论情况下证明 ELM 的效率。
发现论文，激发创造
  • 用于快速训练点击率预测模型的极限学习机

    基于嵌入层增强的 ELM 模型在 CTR 任务中表现出色，同时显著减少训练时间，特别适用于快速训练的情况。

    Jun, 2024

  • 解释性学习：神经网络中超越经验主义

    该论文介绍了一种基于符号序列及其解释的机器学习框架 —— 解释性学习，提出了该领域的学习方法，并引入了一个演示环境（Odeen），在其中比较了基于解释性学习与传统机器学习范式的方法（如 Transformer）在发现新现象的解释方面的性能表现，发现基于解释性学习的 CRN 优于传统的方法。

    Jan, 2022

  • 机器学习实证研究的反思：解决实验的认识论和方法论挑战

    我们警告人们对机器学习领域的经验研究常常存在着一种不完整的理解，这导致实验结果不可复制、发现不可靠，进而威胁到该领域的进展。为了克服这种令人担忧的情况，我们呼吁更多地意识到获得知识的多样性方式以及一些认识论上的限制。特别是，我们认为当前大部分经验机器学习研究实质上是确认性研究，而应该视为探索性研究。

    May, 2024

  • 神经网络机器学习数学理解的探究：已知与未知

    本文综述了近年来人工神经网络和机器学习领域所取得的进展和对于成功和微妙性的理解，通过数值实验和简化模型的分析，以及严谨的数学结果，讨论对于这个快速发展领域最重要的开放性问题。

    Sep, 2020

  • 构建零谱偏差的极限学习机

    Spectral Bias 现象是在前馈人工神经网络（ANN）中观察到的，其中学习的函数的高频成分比低频成分收敛得更慢，这一现象在 ANN 中普遍存在。本研究验证了 ELMs 结构的可靠性，发现高斯过程谱偏差（SB）的理论假设是错误的，并实施并验证了傅里叶特征嵌入的 ELMs 变种，完全消除了 SB 现象，从而使 ELMs 在像 PINNs 等需要高频分辨率的实际问题中可行。

    Jul, 2023

  • 机器学习的分析层次

    本研究提出采用 Marr 的分析层次理论作为机器学习共同的概念框架，以便更好地理解、分析和讨论机器学习研究，通过案例研究展示了如何通过采用这种分析层次理论更好地参与推动学术界进步的讨论。

    Apr, 2020

  • 一个基于信息理论的监督学习框架

    本文提出了一种新颖的信息论框架，用其自己的遗憾和样本复杂度分析机器学习的数据需求，并用该框架研究了由具有 ReLU 激活单元的深度神经网络生成的数据的样本复杂度，并在权重的特定先验分布下建立了同时独立于宽度和线性深度的样本复杂度界限。

    Mar, 2022

  • 量子极限学习机的基本方面

    量子极限学习机是一种有潜力的量子机器学习框架，通过将预测分解为傅里叶级数来研究其表达能力，并发现其表达能力受到傅里叶频率和可观测量数量的基本限制。然而，耦合系统大小增加时可能存在可观测量数量的指数集中问题，从而导致量子极限学习机变得无用。该研究揭示了量子极限学习机的潜力和基本限制，并为系统化探索其他机器学习任务的量子储备系统奠定了基础。

    Dec, 2023

  • 通过极限学习机实现快速脑血流分析

    提出了一种利用扩散相关光谱学（DCS）和极限学习机（ELM）分析脑血流 (cerebral blood flow) 的快速准确分析方法，ELM 在不同噪声水平和光学参数下表现出更高的保真度，相较于迭代拟合算法具有更强大的泛化能力并能够胜过它们，与计算效率高的神经网络进行对比，ELM 在减少训练和推理时间的同时保持了可比较的准确性，ELM 的无反向传播训练过程导致训练速度显著加快，为具备在线训练能力的边缘计算应用提供了希望。

    Jan, 2024

  • 机器学习系统认证的形式和实践要素

    该论文将机器学习应用于自主飞行中的视觉着陆，并建立了一个模型无关且工具独立的认证框架，以解决机器学习模型的可信度与航空认证之间的挑战。

    Oct, 2023