NIPSSep, 2017

跨模态循环模型用于从多模态时间序列数据预测体重目标

PDF
TL;DR该研究使用多模态时间序列数据进行深度长短期记忆体（LSTM）架构的设计，用于预测用户达到其减重目标的可能性，并通过可视化模型的预测结果，揭示了任务中的潜在变量。
multimodaldeep learningtime-serieslstmweight prediction
发现论文，激发创造
  • 多模态条件注意力融合在情感维度预测中的应用

    该研究提出了一种名为条件注意融合的新型多模态融合策略，将长短期记忆循环神经网络应用为基础单模态模型，自动决定分配给不同情感模态的权重，获得了在情感价值预测方面优于多种常见融合策略的实验结果。

    Sep, 2017

  • 3D 生物医学分割的联合序列学习和跨模态卷积

    本文提出了一个基于深度神经网络的编码器 - 解码器结构，包含跨模态卷积层以整合不同模态的 MRI 数据和卷积 LSTM 以建模 2D 切片序列，通过加权和两阶段训练来处理标签失衡，并在 BRATS-2015 数据集上实验表明超越了现有的生物医学分割方法。

    Apr, 2017

  • xMTrans：用于长期交通预测的时间注意力交互融合变压器

    本文介绍了一种新颖的时间关注跨模态变压器模型，即 xMTrans，具备探索两种模态数据之间的时间相关性的能力，用于长期交通预测，通过对真实世界数据集上的交通拥堵和出租车需求预测进行广泛实验，结果显示 xMTrans 在长期交通预测方面优于最新的先进方法，此外，还进行了全面的消融研究，以进一步分析 xMTrans 中的每个模块的有效性。

    May, 2024

  • 多模态非规则时间序列事件的特征融合框架

    本文提出了一种基于长短时记忆网络的多模态不规则时间序列事件的特征融合框架，能够提取复杂特征、捕捉非线性关系和时间依赖关系，并使用特征门控制不同张量的访问频率，实验证明该框架在 MIMIC-III 数据集上能显著优于现有方法。

    Sep, 2022

  • 从多模态时间序列数据中学习序列潜变量模型

    本论文提出了一种自监督生成建模框架，用于联合学习多模态数据的概率潜在状态表示和相应的动态，并且该方法在机器人学方面有显著的预测和表示质量改进。

    Apr, 2022

  • 多模态情感识别基于时间模型的比较

    本文研究了在多模态情感识别中使用不同序列模型的表现，使用多层 CNN 模型处理音频和图像，比较了 GRU、Transformer、LSTM 和 Max Pooling 这四种序列模型的准确度、精度和 F1 分数，观察到这些序列模型在情感识别方面的表现非常接近。

    Jun, 2023

  • 多模态情感分析中的词级融合和强化学习

    开发了一种新颖的深度结构 Gated Multimodal Embedding LSTM with Temporal Attention (GME-LSTM (A)) 模型，以单词级别进行多模态情感分析。在公开数据集 CMU-MOSI 上表现 State-of-the-art 的情感分类和回归结果，强调了 Temporal Attention Layer 在情感预测中的重要性和 Gated Multimodal Embedding 对于过滤有噪音的多模态的有效性。

    Feb, 2018

  • 改善年龄预测：利用基于 LSTM 的动态预测增强多变量时间序列分析

    通过数据增强和验证框架结合长短期记忆网络来丰富神经成像数据集，从而提高深度学习模型的性能，克服神经成像数据集规模有限的挑战。

    Dec, 2023

  • 从时间数据中进行深度多模态表征学习

    本文介绍了一种名为 Correlational Recurrent Neural Network（CorrRNN）的神经网络模型，该模型将多种时间序列数据进行合并，通过同时学习联合表示和模态之间的时间依赖关系来优化预测性能，并使用多个损失项和注意力模型来调整模态之间的贡献。实验证明了该模型在各种数据集上表现优越。

    Apr, 2017

  • SI-LSTM: 会话中情感识别的说话人混合长短期记忆和跨模态注意力

    本研究提出了一种名为 “讲话者信息增强的长短时记忆（SI-LSTM）” 的递归结构，用于情感识别，可以在追踪对话中不同讲话者的情感状态的同时，通过交叉模态注意力机制将不同模态之间的信息结合起来，提高多模态数据情感识别任务的学习效果。在两个基准数据集上进行的实验结果表明，所提出的 SI-LSTM 模型在情感识别任务上具有优越的性能表现。

    May, 2023