Jun, 2024

TANNS 的字典树增强神经网络的概念框架

PDF
TL;DRTANNs 结合字典树结构和神经网络，提供了一种层次化设计，能够增强机器学习中的决策透明度和效率。本研究探讨了在文本和文档分类中应用 TANNs 的方法，使用了循环神经网络（RNNs）和前馈神经网络（FNNs）。通过对比传统的 RNN 和 FFN 网络，包括有无 dropout 正则化，我们在 20 NewsGroup 和 SMS 垃圾短信收集数据集上评估了 TANNs 的性能。结果表明，在文本分类方面，TANNs 的性能相当或稍微优于传统方法。TANNs 的主要优点在于其结构化的决策过程，从而提高了可解释性。我们还讨论了实现上的挑战和实际限制。未来工作将致力于改进 TANNs 架构以应对更复杂的分类任务。
trie-augmented neural networksdecision-making transparencyefficiencytext classificationinterpretability
发现论文，激发创造
  • 自适应脉冲循环神经网络精确高效的时间域分类

    本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

    Mar, 2021

  • 使用双向递归神经网络引导多语言文本分析工具

    本文旨在研究对于资源贫乏的语言的快速语言注释工具的发展，我们采用递归神经网络模型实验了多种跨语言注释映射方法。我们提出了一种真正的多语言标记器方法，并通过使用平行语料库证实了其有效性和通用性。

    Sep, 2016

  • 基于模式拓扑和奖励学习优化的脉冲神经网络，用于高效多感官融合

    本研究提出一种新型神经网络 ——MR-SNN，它采用了基于多肌体拓扑结构和奖励学习策略的动态脉冲神经元，以提高多感知融合的准确性和稳健性，并且在感知认知领域的实验中表现出了更好的效果。

    Feb, 2022

  • 基于循环神经网络的提及检测鲁棒性探究

    本文研究了基于循环神经网络（RNN）的提及检测系统的鲁棒性及其在信息提取中的应用，表明在英语的普通或跨领域的情况下，RNNs 不仅在通用情况下优于之前报告的最佳系统（最多可达 9％的相对错误降低），而且在荷兰语中表现出的命名实体识别相似任务中，RNNs 比传统方法显著优越（最多可达 22％的相对错误降低）。

    Feb, 2016

  • TA-RNN：一种基于注意力的、面向时间的递归神经网络架构，用于电子病历

    提出了两种基于 RNN 的可解释 DL 结构，即 TA-RNN 和 TA-RNN-Autoencoder，用于在下次访问和多次访问中预测患者的临床结果。实验证明，这些模型在预测阿尔茨海默病和死亡的性能方面超过了其他方法，并且在包括可变时间间隔的数据中也表现出色。

    Jan, 2024

  • 循环神经网络的最近进展

    本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明，介绍了针对学习长期依赖问题的新进展，适合该领域的新手和专业人士。

    Dec, 2017

  • 几近白板：针对未经分词的文本训练的基于字符级神经语言模型的语言学知识探究

    我们进行了一项多语言研究，探讨了在去除单词边界的输入数据上，以字符级语言模型为训练对象的循环神经网络通过基于输入统计量发现有用的语言单位这一更加困难和认知真实的任务的语言学知识编码。结果表明，我们的 “近乎于白板” 的循环神经网络主要能够解决形态、语法和语义任务，这些任务根据直观上的想象需要单词级别的知识，并且它们在某种程度上学会了追踪单词边界。我们的研究为关于语言学习和使用中明确、严格的单词词典必要性的猜测打开了大门。

    Jun, 2019

  • 学习具有时间感知行为的循环神经网络动态

    本文利用定时自动机来介绍一系列监督学习任务，建立在隐藏时间变量和复杂性直接可控的行为模型基础上，通过研究倒置的时间特征，证明基于动态系统理论的工具可以不仅提供模型学习方案的见解而且能够证明训练过程的动力学。

    Jun, 2023

  • 深度循环神经网络语音识别

    本文研究了将深度网络的多层表示与强大的 RNN 模型相结合的模型 - 深度递归神经网络，通过合适的正则化和端到端的训练方法，该模型在 TIMIT 语音识别基准测试中获得了最佳记录得分 17.7％。

    Mar, 2013

  • 递归神经网络中语言形式和功能的表示

    本文基于多任务门控循环神经网络的案例，提出了一种识别对网络最终预测贡献的关键词汇并分析 RNNs 激活模式的方法。发现该网络的语言模型层对句法功能词汇更敏感，而预测图像的层对句子的信息结构和语义信息更加敏感，并学会了根据词汇的语法功能进行不同处理，而被分化的各个隐藏单元则用于在长时间步骤中传递信息以编码长期任务相关性。

    Feb, 2016