神经调控门控变压器
本文介绍了一种基于 transformers 的场景重构和渲染新视角的架构,通过视图变换器和光线变换器实现对神经辐射场进行编码解码;实验表明该架构可以在多个场景中取得最先进的性能。
Jul, 2022
本研究探索了带门控的 Transformer Networks 的时间序列分类问题,我们展示了 GTN 在多元时间序列分类任务上的自然有效性,并且在 13 个数据集上进行了实验证明 GTN 可以达到具有竞争力的结果。我们还探究了 GTN 的注意力图以提高时间序列建模的自然解释性。
Mar, 2021
给医学个性化决策做出重要贡献的研究论文,提出了一种新的神经网络模型 G-transformer,用于基于观察数据对治疗效果的时间估计,该模型能够准确、低方差地预测条件期望效果,具有迭代回归和处理电子健康档案的能力。
May, 2024
这篇论文描述了 CBGT-Net,这是一个受到哺乳动物大脑中的皮层 - 基底节 - 丘脑(CBGT)回路启发的神经网络模型。与传统的神经网络模型不同,该模型在观察到的数据流中学习在达到足够证据标准后产生输出。我们通过两个图像分类任务对该模型进行评估,其中模型需要根据从图像中提取的一系列小块来预测图像类别。我们证明 CBGT-Net 相比于单个小块进行分类的模型和利用 LSTM 层进行分类的模型,具有更高的准确性和鲁棒性。
Mar, 2024
本文提出了基于 Transformer 和调制的两种极具轻量性能却强大的情感识别和情感分析解决方案,通过组合大量数据集的语言和语音输入来挑战、有时甚至超越这一领域的现有技术,并在 IEMOCAP、MOSI、MOSEI 和 MELD 数据集上评估和验证其性能。
Oct, 2020
使用大规模语言模型中的 Mixture-of-Experts (MoE) 方法来增强一种称为 GNT 的 NeRF 模型,建立了一种能够合成未见场景新视角的跨场景可泛化的 NeRF 模型,称为 GNT with Mixture-of-View-Experts (GNT-MOVE)。实验表明,该模型在迁移到未见场景时展现出卓越的泛化能力,在零样本和少样本的设置中都取得了最新的结果。
Aug, 2023
提出了一种新的神经网络模型结合 Gated Graph Neural Networks 和输入转换解决了线性化启发式和参数爆炸问题,可以对 AMR 图和基于语法的神经机器翻译进行生成,实验结果表明该模型优于强基线模型。
Jun, 2018
本文介绍了一种应对多模态情感识别中噪声信息干扰的方法,提出了噪声抗性多模态 Transformers 模型,该模型引入了噪声抗性特征提取器 (NRGF) 和噪声感知学习算法。实验结果表明,该方法在多个基准数据集上比已有方法表现更优秀,具有更好的多模态情感识别效果。
May, 2023
本文提出了一种名为 “图变压器” 的模型,使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同,它提供了一种更有效的全局图结构建模方式,并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。
Nov, 2019