Jun, 2024

DualTime：一个用于时间序列表示的双适配器多模态语言模型

PDF
TL;DR基于时间序列多模态数据的互补信息挖掘，我们提出了 DualTime，一种双适配器多模态语言模型，同时实现了时间为主导和文本为主导的建模，通过注入轻量级适配符号，实现了嵌入对齐并实现了高效微调。实证研究表明，我们的方法在监督和无监督设置中均优于最先进的模型，突显了不同模态的互补优势。此外，我们进行了少样本标签迁移实验，进一步验证了我们提出的 DualTime 的可迁移性和表达能力。
language modelsmultimodal time series modelingdualtimecomplementary information mininglabel transfer experiments
发现论文，激发创造
  • 多模态语言建模推进时间序列分类

    通过使用预训练语言模型，本研究提出了 InstructTime，将时间序列分类重塑为学习生成范式，并将任务特定指令和原始时间序列作为多模态输入，通过文本表示标签信息，实现了在时间序列分类中的卓越性能和通用基础模型的潜力。

    Mar, 2024

  • 朝有效时间感知的语言表示：探索语言模型中增强的时间理解

    本研究探讨了在自然语言处理领域中理解文本的时间背景的方法，并介绍了一种新型语言模型 BiTimeBERT 2.0，该模型通过预训练在一个时间新闻文章集合上，利用三种创新的预训练目标以有效地获得时间感知的语言表示，从而在与时间相关的任务中实现改进的性能。实验结果显示，BiTimeBERT 2.0 在多种依赖时间的下游自然语言处理任务和应用中显著优于 BERT 和其他现有的预训练模型。

    Jun, 2024

  • 多模态不对齐语言序列的多模态转换器

    该研究介绍了一种称为 MulT 的多模态转换器，利用方向性一对一跨模态注意力在不显式对齐数据的情况下，通用地解决了模型多模态人类语言时序数据中的两个主要挑战，即内在数据非对准性和跨模态元素之间的长程依赖关系。

    Jun, 2019

  • VLSNR: 基于视觉语言协调和时序感知的新闻推荐

    提出了一种视觉 - 语言坐标时间序列新闻推荐方法，基于预训练的多模型编码器，应用自注意力网络学习时间顺序。通过构建的大规模多模式新闻推荐数据集 V-MIND 验证了该方法的优越性。

    Oct, 2022

  • 多模态电子健康记录的动态嵌入和标记化的时间交叉注意力

    我们提出了一个动态嵌入和分词框架，通过学习多模态临床时间序列的时间感知表示，并结合时间交叉注意力，将其整合到滑动窗口关注的多任务 Transformer 分类器中，在预测超过 120,000 例住院手术的九种术后并发症的示例任务中，使用来自美国三家医院和两个学术医疗中心的多模态数据，我们的嵌入和分词框架优于基线方法。

    Mar, 2024

  • TMT: 通过将不同形式阐述视为不同语言的三模式语音、图像和文本之间的翻译

    我们提出了一种新颖的 Tri-Modal Translation（TMT）模型，它能够在语音、图像和文本之间进行任意模态的翻译，并通过将语音和图像数据标记为离散标记来统一界面并显著降低计算成本。通过在 TMT 中使用多模态编码器 - 解码器进行核心翻译，同时仅在标记化和解标记化阶段进行模态特定的处理，我们评估了所提出的 TMT 在六个模态翻译任务上的性能，并且 TMT 始终优于单模型对应物，表明统一任务不仅在实用性上有益，而且在性能上也有益。

    Feb, 2024

  • Time-MMD：一个用于时间序列分析的新型多领域多模态数据集

    引入 Time-MMD，一个涵盖 9 个主要数据领域、首个多领域、多模态时间序列数据集，通过扩展单模态 TSF 到多模态，显著提高了性能。

    Jun, 2024

  • 将 LLMs 转化为跨模态和跨语言检索系统

    使用大型语言模型进行多模态双编码检索系统，能够在多种语言中匹配语音和文本，提升召回率并实现跨语言匹配。

    Apr, 2024

  • 全球对比训练与语言监督下的多模态电子健康记录

    现代电子健康记录（EHRs）通过顺序深度学习在个性化患者健康轨迹的跟踪方面拥有巨大的潜力，然而如何有效利用 EHRs 中的多个模态面临重大挑战，因为其复杂特性（如高维度、多模式、稀疏性、不同的记录频率和时间的不规则性）。为了应对医学时间序列中的稀疏性和时间间隔的不规则性，本文引入了一种新的多模态对比学习框架，重点关注医学时间序列和临床笔记。为了利用医学时间序列和临床笔记之间的相互关系，该框架配备了全局对比损失，将患者的多模态特征表示与相应的出院小结进行对齐。通过全局对比来学习区分性的多模态特征。在真实世界的 EHR 数据集上进行了大量实验，证明我们的框架在使用 UF 健康系统的多模态数据（来自 UF Health Gainesville、UF Health Jacksonville 和 UF Health Jacksonville-North 三家医院的 12 万多次大型住院手术）预测九种术后并发症发生的示例任务上优于现有方法。

    Apr, 2024

  • 应急科室结果预测的多模态感知语言模型

    本文探讨了多模式语言建模在医疗保健领域的应用，特别是基于急诊科主诉和生命体征文本信息的病人问题和需求预测，通过对 MIMIC-IV ED 数据集的诊断代码预测实验分析，我们发现多模式提高了预测性能，并且对一些疾病类别来说，生命体征具有更强的预测能力，并透过交叉注意层的分析，展示了多模式如何提升模型预测。

    Apr, 2023