- Transformer 和循环体系结构在表示能力上的区别
通过实验和理论分析比较了 Transformer 和 RNN 在不同任务上的表征能力、模型大小以及性能差异。
- 基于注意力的时间连续框架下流体状态插值和编辑学习
在这项工作中，我们介绍了 FluidsFormer：一种基于 Transformer 的方法，用于在连续时间框架内进行流体插值。通过结合 PITT 和残差神经网络（RNN）的能力，我们可以对流体状态的物理属性进行解析预测，从而使我们能够在模 - 神经原型语言重建
通过数据增强、使用变分自动编码器 (VAE) 结构的 Transformer 模型和神经机器翻译模型，通过改进之前的方法来提高原型形态重建的性能。
- Transformer 可解释性转移到 RNN 中吗？
最近在递归神经网络（RNN）架构方面取得的进展，例如 Mamba 和 RWKV，使得 RNN 在语言建模困惑度和下游评估方面与同等规模的变压器相匹配或超过，这表明未来的系统可能会建立在全新的架构之上。本文研究了最初设计用于变压器语言模型的选 - UnsMOT: 无监督多目标跟踪的统一框架与几何拓扑指导
本文提出了一种将外观和运动特征与几何信息显式结合以提供更准确跟踪的新型无监督 MOT 方法 UnsMOT，通过 CNN 和 RNN 模型提取外观和运动特征，构建对象的图形，并利用 GNN 模型和 CNN 特征输出经优化的对象几何嵌入，通过匹 - 利用 FPGA 能力加速生物医学计算
本研究基于多种高级神经网络结构，包括卷积神经网络、循环神经网络、LSTM 和深度置信网络，利用可编程门阵列（FPGA）进行 ECG 信号分析，探索开发基于 PYNQ Z1 板的自定义张量计算单元（TCU）加速器，为各种应用程序优化神经网络性 - 基于机器学习和神经网络的 EEG 信号情绪分析
本研究通过使用 SVM，KNN 和 RNN (LSTM) 等算法，对 DEAP 数据集中的 EEG 信号进行分类和测试，以探究如何使用脑信号来改进情绪识别的性能，并进一步研究情绪随时间变化的规律。
- ICML一种用于连续非马尔可夫随机控制问题的神经 RDE 方法
提出一种基于神经粗糙微分方程的新框架，用于解决非马尔可夫随机控制问题，通过演示控制过程作为神经粗糙微分方程的解的模型来展示控制 - 状态联合动力学如何通过一个未受控的增量神经粗糙微分方程进行管理，同时通过演示神经粗糙微分方程是随机不平滑路径 - SAPI：交叉口环境感知车辆轨迹预测
本文提出了一个基于深度学习框架的交叉口车辆轨迹预测模型（SAPI），该模型利用实时地图、优先权和周围交通的信息表示与编码环境，并通过卷积神经网络（CNN）和循环神经网络（RNN）对原始历史轨迹信息进行完全分析，能够在不同场景下准确预测车辆轨 - 深度学习模型综述与比较分析：CNN、RNN、LSTM、GRU
本文综述了不同类型的深度学习模型，包括卷积神经网络、循环神经网络、生成模型、深度强化学习和深度迁移学习，探讨了它们的结构、应用、优点和局限性，并使用 IMDB、ARAS 和 Fruit-360 三个公共数据集分析了六个著名深度学习模型的性能 - 基于资源使用预测的边缘智能主动容错
本文提出了一种利用循环神经网络（RNN）预测边缘资源使用情况和触发主动节点复制和任务迁移的智能主动容错（IPFT）方法，同时使用创新的混合贝叶斯进化策略（HBES）算法自动适应资源使用模型，实验结果表明该方法可显著提高可靠性和可维护性。
- 时间序列模型的易感性与鲁棒性：对抗攻击与防御
本研究研究了七种时间序列模型对于三种对抗攻击的敏感性和使用防御机制的鲁棒性，实验结果表明所有模型均易受攻击，其中尤以 GRU 与 RNN 敏感性较高，LSTM 和 GRU 的防御恢复效果较好，而在攻击效果上，FGSM 超过其它竞争对手，PG - Transformer、卷积和循环神经网络在音素识别上的比较
本文探讨了 CNN、RNN、Transformer 及 Conformer 模型在语音识别方面的应用，对不同架构的精度进行了比较和分析，发现 Transformer 和 Conformer 模型在输入帧的长程可达性方面表现优异。
- 基于光流特征的混合卷积神经网络 - 长短期记忆网络在视频深度伪造检测中的应用
本文主要研究深度伪造影像技术中因时域信息缺失导致传统方法检测失误的问题，并基于光流特征提取、CNN 和 RNN 混合模型开展研究，实现对 DFDC、FF++ 和 Celeb-DF 等开源数据集中深度伪造影像的有效检测，样本数量不足 100 - 使用树形编码的 Transformer 实现神经程序生成
使用树形定位编码方案，结合自然语言分词词汇表，在编码任务中应用 Transformers 所能获得更好的效果
- 使用残差专家混合模型学习调整临床序列
本文提出了一种基于 Mixture-of-Experts 结构的神经网络模型来提升基于电子病历的多变量临床事件预测任务中的预测性能。该模型通过用多个 (experts) RNN 模型覆盖患者亚群来建模患者序列数据的异质性，并通过预定义在基于 - 组合性作为词汇对称性
该文章提出了一种基于数据分布的组合建模通用框架，证明了针对具有词汇表和组合函数的任何可分解任务都存在一族数据转换函数，可在训练数据上产生新的、格式正确的例子，进而说明即使在未知组合函数的情况下 (例如无法编写或推断符号语法), 也可以识别这 - EMNLP基于描述的标签注意力分类器用于可解释 ICD-9 分类
研究了多标签 ICD-9 自动编码方法，提出了一种基于描述 - 标签的注意力分类器，通过不同的 transformer-based 编码器在 MIMIC-III-50 数据集上评估，达到了强大的结果和可解释性。
- TrOCR: 基于 Transformer 的带预训练模型的光学字符识别
本文提出了一种名为 TrOCR 的端到端文本识别方法，其中使用了预训练的图像 Transformer 和文本 Transformer 模型，不仅适用于印刷体和手写体，还适用于场景文本识别任务，并在准确率方面优于当前最先进的模型。
- IJCAI语音理解的流式端到端框架
本文提出了一种流式端到端框架，采用单向 RNN 和 CTC 标准进行训练，可以在线和增量地处理多个意图，实现了与最先进的非流式模型相当的精度，并在关键词检测任务中表现出高度的前途。