Jun, 2024

Time-MMD：一个用于时间序列分析的新型多领域多模态数据集

PDF
TL;DR引入 Time-MMD，一个涵盖 9 个主要数据领域、首个多领域、多模态时间序列数据集，通过扩展单模态 TSF 到多模态，显著提高了性能。
time series datamultimodaltsa modelstime-mmdmm-tsflib
发现论文，激发创造
  • MDMMT：用于视频检索的多领域多模态 Transformer

    通过对多个视频字幕数据集的正确组合，我们在 MSRVTT 和 LSMDC 基准测试上提出了一种新的文本到视频检索任务的最新技术，成果展示了在无微调的情况下，单一模型在两个数据集上实现了最先进的结果。

    Mar, 2021

  • DualTime：一个用于时间序列表示的双适配器多模态语言模型

    基于时间序列多模态数据的互补信息挖掘，我们提出了 DualTime，一种双适配器多模态语言模型，同时实现了时间为主导和文本为主导的建模，通过注入轻量级适配符号，实现了嵌入对齐并实现了高效微调。实证研究表明，我们的方法在监督和无监督设置中均优于最先进的模型，突显了不同模态的互补优势。此外，我们进行了少样本标签迁移实验，进一步验证了我们提出的 DualTime 的可迁移性和表达能力。

    Jun, 2024

  • TimeCMA: 基于 LLM 的时间序列预测协同模态对齐

    基于大规模语言模型和交叉模态对齐，提出了 TimeCMA 框架，用于多变量时间序列预测，实验证明其准确性和高效性。

    Jun, 2024

  • MM-TTA: 3D 语义分割的多模态测试时适应

    本文提出一种新的多模态测试时自适应模型，其中包含 Intra-PG 模块用于获取可靠的伪标签，以及 Inter-PR 模块用于自适应选择更可靠的伪标签，实现了基于多模态输入的 3D 语义分割稳定自学习。

    Apr, 2022

  • SimMMDG: 一个简单而有效的多模态领域泛化框架

    通过在多模态情境中将特征分为模态特定和模态共享组件，并运用监督对比学习对模态共享特征施加距离约束，以促进多样性，并引入跨模态转换模块来规范学习特征，以达到领域泛化的目标。

    Oct, 2023

  • 评估多模态时间序列预测模型（MM-TSFM）的稳健性

    本文介绍了一种评估多模态时间序列预测模型的鲁棒性的评级方法，通过因果分析来理解和量化各种属性对多模态时间序列预测准确性的独立影响，并在大规模实验中应用该评级方法，以提取关于鲁棒预测模型的洞见以及其优势的背景。多模态（数值 + 视觉）预测被发现在各种情境中更准确，同时更具鲁棒性，这些研究成果为时间序列预测的利益相关者提供了对模型行为的理解，通过我们的评级方法选择适当的预测模型，从而提高决策能力。

    Jun, 2024

  • 多模态语言建模推进时间序列分类

    通过使用预训练语言模型，本研究提出了 InstructTime，将时间序列分类重塑为学习生成范式，并将任务特定指令和原始时间序列作为多模态输入，通过文本表示标签信息，实现了在时间序列分类中的卓越性能和通用基础模型的潜力。

    Mar, 2024

  • UniTime：跨领域时序预测的语言增强统一模型

    提出了 UniTime 模型以解决跨领域时间序列学习中的挑战，通过灵活适应不同特征的数据、使用领域指令和语言 - 时间序列转换器来对齐模态，以及利用屏蔽来缓解领域收敛速度不平衡问题，从而大幅提升最先进的预测性能和零样本可迁移性。

    Oct, 2023

  • 适应模态的时间序列预测变形器

    通过开发一种名为 Modality-aware Transformer 的新型多模态变压器，我们旨在解决多模态时间序列预测的复杂挑战，并在金融数据集上进行了广泛实验，证明其优于现有方法，提供了一种新颖而实用的解决方案。

    Oct, 2023

  • 多模态、多任务、可解释的模块化网络

    MultiModN 通过融合多种数据类型的潜在表示，提供了对多个预测任务的实时反馈，解释性好且对缺失数据具有鲁棒性，同时不影响性能。

    Sep, 2023