- 时空数据挖掘生成技术综述
本文研究了将生成技术与时空数据挖掘相结合，探讨了生成技术在捕捉时空数据中的时间和空间依赖性方面的应用，并提出了一个专门用于时空数据挖掘流程的标准化框架。本文旨在增进对这一领域中使用生成技术的各种技术的深入理解，并强调了未来的研究方向，鼓励研 - 关于 RNN 语言模型归纳偏差的理论结果
循环神经网络（RNNs）作为语言模型（LMs）的经验成功可能与其能够有效地表示人类语言中的有界分层结构有关，并且可以推广其构造以表示更大类别的 LMs，即可以用带有边界堆栈和广义堆栈更新函数的推挤自动机来表示。然而，RNNs 在表示多样化的 - Transformer 是多状态循环神经网络
通过实验证明，解码器 - 只转换器实际上可以被概念化为无限多状态的循环神经网络（RNN）的一种变体，而预训练转换器可以通过固定隐藏状态的大小转换为有限多状态的 RNN。我们引入了一种简单的转换策略 TOVA，实验证明 TOVA 在长距离任务 - 无人机群的深度学习方法非线性系统辨识
该研究设计和评估多种非线性系统识别技术，用于建模平面空间中的无人机群系统。研究探索并比较了 RNNs、CNNs 和神经 ODE 等学习方法。其目标是通过准确逼近群体模型的非线性动力学，预测未来的群体轨迹。建模过程使用了来自群模拟的瞬态和稳态 - 门控循环神经网络发现注意力
近期的研究发现具备线性循环层和前馈路径的带有乘性门控模式的循环神经网络（RNNs）能够实现线性自注意力，这是 Transformer 的主要组成部分之一。通过对一组训练过的 RNNs 进行逆向工程，我们发现在实践中梯度下降法会找到我们构建的 - SegRNN：用于长期时间序列预测的分段循环神经网络
RNN domain prominence has declined in Long-term Time Series Forecasting due to limitations with long look-back windows a - 神经动态的低张量秩学习
通过大规模神经记录，我们研究了学习过程中权重矩阵形成的 3-Tensor 的秩，并发现推断得到的权重具有较低的张量秩，并且通过数学结果证明了较低的张量秩权重在训练低维任务的 RNN 中自然地产生。
- ICCVSwinLSTM：使用 Swin Transformer 和 LSTM 提升时空预测准确性
整合了 CNN 和 RNN 以捕捉时空相关性的方法被广泛应用于时空预测任务中。然而，CNN 学习局部空间信息的特性降低了其捕捉时空相关性的效率，从而限制了其预测准确性。本文中，我们提出了一种新的循环单元 SwinLSTM，它与 Swin T - 非线性递归神经网络的逆近似理论
该研究提出了一种逆逼近定理，论证了使用 RNN 对非线性序列关系进行逼近的能力受到存储结构的限制，并提出了一种基于理论分析的重新参数化方法以克服这种限制。
- RWKV：为 Transformer 时代重新设计 RNN
本文提出了一种名为 Receptance Weighted Key Value（RWKV）的新型模型体系结构，它将 Transformer 的并行训练与 RNN 的高效推理相结合，并利用了线性注意机制，使模型既可以被阐释为 Transfor - 复制递归神经网络结构网络
提出了一种利用复制递归神经网络（RNN）结构的路径生成器和路径判别器进行疾病分类的粗到细的 ICD 路径生成框架（CRNNet），在识别并发症时具有更高的效率，57.30％的复杂疾病预测比现有技术和以前的方法表现更好，同时通过消融研究证明了 - 神经网络模型简化的张量分解：一篇综述
该研究论文综述了六种张量分解方法及其在神经网络中的应用，说明使用这些方法可以明显地减少模型的大小，运行时间和能耗，在边缘设备上实现神经网络时效果显著。
- ACL关于线性递归网络在长序列括号计数上的理论条件和实证失败
研究了线性单细胞网络的理论分析与实证分析，揭示了此类模型保持精确计数行为的必要和充分条件，并发现在标准方法下训练时，线性 RNN 不满足精确计数的条件。
- 从循环神经网络中提取加权有限状态自动机以处理自然语言
本文提出了解决 RNN 的状态转移抽取中过稀疏问题的新方法，包括用经验方法补充缺失规则、调整转移矩阵以加强上下文感知、以及数据增强策略以跟踪目标 RNN 的更多动态行为。研究结果表明，我们的方法能够以更好的精度从 RNN 中提取加权有限自动 - ICLR通过活动稀疏性和时间上的稀疏反向传播实现高效的循环神经网络结构
通过实现神经元活动的动态稀疏化，提出了一种基于门控循环单元（GRU）并适用于新颖的节能神经形态硬件的递归神经网络（RNN）的通信稀疏离散化解决方案。该模型在不影响任务性能的前提下实现了高效，与现有最先进的循环神经网络模型在语言建模等实际任务 - 超越准确性：生物可信的时间信用分配规则的泛化特性
通过揭示损失面曲率的角度，论文研究神经网络的梯度下降算法对生物可行性的影响，发现生物可行性的学习规则在通用性上具有更差且更不稳定的性能，其倾向于接近神经突触权重空间的高曲率区域。
- CVPR基于弱监督的动作转移学习用于随机人体动作预测
本文介绍了动作驱动的随机人体运动预测任务，提出了一种有效的多步预测模型和训练策略，结合深度学习模型和不同的时间编码模型以取得更好预测效果。
- ACL通过循环引发的隐式 N 元语法
本研究发现，循环神经网络（RNNs）内置一些可以解释的组件，这些组件类似于经典的 n-gram 特征。从训练的 RNNs 中提取这些可解释的特征，用于下游情感分析任务，发现它们可以用于建模否定和强调等有趣的语言现象，并且可以充当 RNNs - 降低重复语句生成的令牌损失动态重新加权
本文通过研究循环神经网络（RNN）和 Transformer 模型，针对自然语言生成模型（NLG）中出现的重复生成问题，提出了通过不同化的权重调整，学习不同难度的单词和解决重复生成问题的方法
- 异步时间事件预测的不确定性
该论文提出了两种新的模型，WGP-LN 和 FD-Dir，用于建模基于异步事件序列的预测模型，在预测过程中考虑了时间的影响和不确定性，结合 RNNs 和概率分布，取得了比其他方法更好的预测性能。