May, 2024

随机多元通用基数有限状态机：一种理论上和实践上优雅的非线性函数逼近方法

PDF
TL;DR基于随机计算的多元非线性函数生成的硬件简化的多元通用基数有限状态机 (SMURF) 及其架构、采样门系数的分析推导以及与 Taylor 级数逼近和查找表方案相比的优越性实验证明。
nonlinearitiesstochastic computinguniversal-radix finite-state machinehardware simplicitymultivariate nonlinear function generation
发现论文，激发创造
  • 随机配置机: FPGA 实现

    通过在可编程门阵列 (FPGA) 上实现二值化输入的 SCM 模型，本文报告了两个基准数据集和两个工业数据集的结果，包括单层和深度架构的 SCM。

    Oct, 2023

  • 工业人工智能的随机配置机

    基于随机配置机器 (SCMs) 的新的随机学习器模型被提出，以实现有效建模和数据尺寸节省，适用于工业应用。SCMs 的模型存储可以显著压缩，同时保持良好的预测性能，对于处理工业数据分析有很大潜力。

    Aug, 2023

  • SMR：用于长序列建模的状态记忆重演

    本文基于样本记忆回放机制 (State Memory Replay mechanism) 提出了一种创新的非递归非均匀采样处理策略，解决了状态空间模型 (State Space Models) 中的非稳定状态问题 (Non-Stable State problem)，从而实现了采样步骤自适应 (Sampling Step Adaptation)，并通过长文本建模任务的实验验证了这一机制的普遍有效性。

    May, 2024

  • 概率循环状态空间模型

    本篇论文提出了一种基于双重随机变分推断和高斯过程的可扩展训练算法，用于可靠地训练完全概率状态空间模型中的潜在状态时间相关性， 并在真实世界基准数据集集上评估了所提出的 PR-SSM 的效果与最先进的概率模型学习方法进行了比较

    Jan, 2018

  • 隐藏量子马尔科夫模型与多体状态的非自适应读取

    本文介绍了一种利用随机量子操作代替 von Neumann 投影量子有限状态生成器的方法，并建立了这种随机生成器与具有平移不变矩阵乘积状态表示的多体状态的顺序读出之间的联系。通过以 1D cluster 状态为例，证明了量子描述可以具有比经典随机描述更高的压缩程度。

    Feb, 2010

  • 具单调激活函数的随机神经网络

    本研究提出了一种利用高斯噪声从任何光滑单调激活函数创建随机单元的拉普拉斯近似，研究了该随机近似在训练一类与 Bregman 散度密切相关的 Restriced Boltzmann Machines 表现良好。我们称此类为指数族 RBM（Exp-RBM），该方法相比对比散度可以使用新颖的随机单元学习到有效的特征表示。

    Jan, 2016

  • 具有随机层的序列神经模型

    本文介绍了一种新的神经网络模型 —— 随机循环神经网络，该模型能高效地传播潜在状态的不确定性来构建序列神经生成模型，并在语音和音乐建模方面取得了比同类方法更好的结果。

    May, 2016

  • 多功能循环单元 MuFuRU

    本文提出了一种名为 MuFuRUs 的新型多功能循环单元，它允许任意可微分函数作为组合操作，可以在不同的序列建模任务中发挥作用，包括命题逻辑公式评估、语言建模和情感分析。

    Jun, 2016

  • 统计显著的逼近方法：以使用变压器逼近图灵机为例

    本文提出了统计意义下的逼近定义，以分析神经网络对布尔电路和图灵机的有效逼近，同时还提供了更紧的一般化分析工具。

    Jul, 2021

  • 高效非线性计算器

    提出了一种新颖的数字硬件上生成平滑非线性的算法，具有对称和非对称变体，实现为无乘法的整数 (和定点) 实现，适用于多种人工神经网络结构的激活函数，在硬件资源使用方面的结果表明，这些函数应该在 ANN 设计阶段考虑到其使用在边缘应用上。

    Sep, 2021