Apr, 2022

AU-NN: ANFIS单元神经网络

HTML
PDF
TL;DR本文介绍了一种ANFIS单元神经网络，利用该网络进行分类和逐步学习，在识别想象单词片段与空闲状态片段任务中，该网络表现出优于传统方法的结果，并提出使用将实例分解成一组小实例的分类过程。
发现论文，激发创造
  • Echo State Networks中学习输入和循环权重矩阵

    本文主要介绍了一种利用 ESN 网络输出单元的线性特性，简化学习输入和循环矩阵的技术方法，并将其与 BPTT 技术相比较，发现该方法在信号分类方面表现更好。

    Nov, 2013

  • 神经网络的迷人特性

    本论文在研究深度神经网络的高层特性时，发现高层单元与随机线性组合之间没有明显差别，并得出神经网络学习的输入输出映射具有不连续性以及网络可被微小扰动误分类等结论。

    Dec, 2013

  • 适用于递归神经网络的最小门控单元

    该研究提出了一种适用于循环神经网络的门单元，名为Minimal Gated Unit（MGU），其结构简单，可与GRU相媲美，但参数更少且训练更快，适用于各种序列数据应用。

    Mar, 2016

  • 用于越南命名实体识别的端到端循环神经网络模型：基于字级和字符级的比较

    本研究提出了一种端到端的神经网络架构，用于越南命名实体识别，最佳模型组合了双向长短时记忆神经网络、卷积神经网络、条件随机场，使用预训练的词嵌入作为输入，可在标准测试集上实现88.59%的F1分数。我们的系统能够在不使用任何句法或手工制作特征的情况下实现与VLSP竞选第一名系统相当的性能，同时对使用深度学习模型的越南NER在单词和字符级别上进行了广泛的实证研究。

    May, 2017

  • 循环神经网络网络

    描述了一种基于系统理论的神经网络类别——“递归神经网络网络”（NOR），用于构建高层神经元，实现了优于RNN、GRU和LSTM的实验结果。

    Oct, 2017

  • Independently Recurrent Neural Network (IndRNN): 构建更长更深的循环神经网络

    本文介绍了一种称为Independently Recurrent Neural Network的新型递归神经网络，其具有分层连接、神经元不相互依赖以及可适用于非饱和激活函数等特点，实验结果表明该网络较传统的递归神经网络、长短时记忆网络在多种任务上表现更好。

    Mar, 2018

  • 评估LSTM模型在形式语言中的泛化能力

    本研究对长短期记忆网络的归纳学习能力进行了实证评估，发现在不同的训练设置下模型性能存在显著差异，并强调在提出神经网络模型的学习能力时需要进行仔细的分析和评估。

    Nov, 2018

  • 适用于循环神经网络的多区域单元

    介绍一种用于处理序列学学习问题的新的多分区单元（MZU）来构建可以建模多个空间组合的转换函数的循环神经网络（RNN）。实验证明，MZU 在字符级语言建模任务和基于方面的情感分析任务的多个数据集上表现优越。

    Nov, 2019

  • 应用混合深度神经网络处理达里语音

    本文探讨了使用Mel频率倒谱系数特征提取方法和三种不同的深度神经网络模型(CNN、RNN和MLP)，以及两个将CNN和RNN组合的混合模型识别达里语中个体单词的方法，结果表明，使用该技术可以获得98.365%的准确率。

    May, 2023

  • 使用内部状态，无限制连接和离散激活训练神经网络

    正在这篇论文中，我们尝试设计一种机器学习算法，用于具有二元激活和单个权重矩阵的架构，并展示它能够形成自然语言文本的有用表示，但在利用大量训练数据方面存在限制。我们提供了改进该算法和设计类似架构的其他训练算法的想法，并讨论了找到有效的训练算法可能带来的潜在益处，并建议进行实验来评估这些益处是否存在。

    Dec, 2023