Jun, 2023

用于声源跟踪应用的置换不变循环神经网络

PDF
TL;DR本文介绍了一种基于无序集合表示输入和状态的新型循环神经网络结构，用于多源声源定位和跟踪，解决了排列不变问题，并将每个声源的信息表示为个别嵌入，实现了新的估计无论其次序如何都能分配到跟踪轨迹上。
发现论文，激发创造
  • 循环神经网络是否能够扭曲时间？

    本文研究证明可学习门控在循环神经网络中提供输入数据的时间转换几乎不变性的功能，从而为长期依赖性和参数初始化提供了新的可能性。

    Mar, 2018

  • 四元数循环神经网络

    研究提出了一种用四元数代替实数的递归神经网络来处理多维特征，从而更好地模拟长期依赖，并在语音识别应用中表现出更好的性能和更紧凑的表示方式。

    Jun, 2018

  • LSTM 和 GRU 的动态同构和平均场理论

    本研究使用平均场理论探究了 LSTMs 和 GRUs 中的信号传播，通过优化初始化超参数，开发出了一种新的初始化方案，解决了训练不稳定性问题，从而在多个序列任务上实现了成功的训练，并且在泛化能力上也有积极的影响。

    Jan, 2019

  • 具有随机层的序列神经模型

    本文介绍了一种新的神经网络模型 —— 随机循环神经网络，该模型能高效地传播潜在状态的不确定性来构建序列神经生成模型，并在语音和音乐建模方面取得了比同类方法更好的结果。

    May, 2016

  • 通过修订门循环单元来提升语音识别

    本文提出了一种简化的 Gated Recurrent Units 架构，用于语音识别。通过去除重置门和引入 ReLU 激活函数，我们的实现在训练时间上提高了 30％以上，并在不同任务、输入特征和噪声条件下获得了相对于标准 GRU 持续改善的识别性能。

    Sep, 2017

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 应用置换等变神经网络于动态预测

    介绍了一种对置换对称的神经网络层，类比于卷积层，可以预测 2D 中密集互动粒子的运动，同时可以适应不同数量的对象。

    Dec, 2016

  • 语音识别中门控循环神经网络的记忆可视化

    本文使用可视化技术研究了 LSTM 和 GRU 在语音识别任务中的行为，并提出两种简单而有效的网络结构修改：LSTM 中的懒惰单元更新和残差学习的快捷连接。两种修改都使得网络更加易于理解和强大。

    Sep, 2016

  • 循环正交网络和长记忆任务

    本文通过分析两个合成数据集来研究 RNNs 在处理长期依赖问题时的信息存储方法，并阐明了几种不同类型信息在 RNNs 中如何存储，这同时解释了最近采用的指定初始化或转移矩阵约束的方法的成功。

    Feb, 2016

  • 门控图循环神经网络

    本文介绍了图递归神经网络 (GRNNs) 作为一种利用递归隐藏状态与图信号处理 (GSP) 相结合的学习框架，以学习来自于图处理中的时空结构。结果表明，GRNNs 在长期依赖问题上的表现优于 GNNs 和 RNNs。

    Feb, 2020