Jul, 2023

基于皮层启发的 ReD-SOM 模型修复受损信号模态学习

PDF
TL;DR通过结合变分自动编码器、自组织映射和赫布连接在统一的 ReD-SOM（Reentering Deep Self-organizing Map）模型中，模拟和利用人脑中现象类似的 McGurk Effect，从而恢复丢失的数据模态并提高信号重构的质量。
发现论文，激发创造
  • 脑电波探幽者：从大脑活动中重构复杂图像

    本文研究了如何通过结合 fMRI 神经活动信号、图像和图像语义描述来重建复杂的图像场景，使用深度学习模型，并且通过采用预先训练的视觉 - 语言潜在空间编码 fMRI 信号来解决数据稀缺的问题。

    Sep, 2022

  • 处理所有阶段缺失的形式：朝着具有健壮重建和个性化能力的通用模型

    提出了一种具有模态重建和模型个性化的健壮的通用模型，能够在训练和测试阶段有效地处理缺失的模态，通过多模态掩码自编码器重构缺失的模态和掩码补丁，利用创新的分布近似机制充分利用完整和不完整的数据，提出了基于 CLIP 的超网络来个性化模型参数，能够适应不同的缺失模态场景，并在两个脑肿瘤分割基准上得到广泛验证，在不同缺失比例的全阶段缺失模态设置下始终超过先前最先进的方法，代码将可用。

    Jun, 2024

  • 看能增强听：使用图像恢复丢失的语音

    本研究探讨了利用图像确立语音识别模型中文字的语义含义，以减少噪音干扰并提高模型鲁棒性的方法。实验结果表明整合视觉信息可以显著提高模型性能，增强语音信号对语音识别的帮助

    Feb, 2020

  • 跨模态翻译的级联注意残差学习生成对抗网络

    本文提出一种新型级联关注引导残差生成对抗网络（CAR-GAN），旨在通过音频信号重建场景。该模型通过残差模块和级联关注引导网络解决不同类型数据间的差异，并在高级语义标签领域中保持一致性，实现了跨模态音视频生成的最新进展。

    Jul, 2019

  • 跨模态检索中的持续学习

    本文提出了一个结合多模态学习嵌入与持续学习的框架，研究了新任务导致了的困扰与不同因素造成的遗忘，发现索引阶段对任务效果有显著影响，并提出缓解遗忘的工具。在两个图像 - 文本检索数据集中证明了我们的方法的显著提高。

    Apr, 2021

  • 遥感数据融合的不完全多模态学习

    本文提出了一种新颖的不完整多模态学习模型，结合双向 LSTM 注意力和掩蔽自注意机制来收集多模态信号，利用重构和对比损失来促进预训练中的融合，能在处理数据不完整输入时达到当前最佳性能水平。

    Apr, 2023

  • 联合自监督和有监督对比学习用于多模态 MRI 数据：走向预测异常神经发育

    利用多模态成像、深度学习和对比学习方法，从多模态 MRI 数据中学习鲁棒的潜在特征表示，将异构特征投影到共享空间，整合不同模态和类似主体间的互补和类似信息，进而提高了异常神经发育的预测能力和计算机辅助诊断的功效。

    Dec, 2023

  • 通过保留语义的对抗学习进行深度跨模态适应，用于基于素描的 3D 形状检索

    本文提出了一种基于深度卷积神经网络的新颖的跨模态适应模型形成方法，其中采用度量学习和对抗学习方法来对 2D 手绘图和 3D 物体进行信息的迁移和转化，能够有效提高物体检索的结果。

    Jul, 2018

  • 跨模态医学图像 - 报告检索的掩码对比重建

    提出了一种名为蒙版对比与重建（MCR）的高效 VLP 框架，以蒙版数据作为两个任务的唯一输入，增强任务之间的连接，并显著减少所需的 GPU 内存和训练时间。通过映射不同的模态到一个公共特征空间，然后进行局部特征聚合，减少细粒度语义信息的损失，从而降低了 fine-grained 的模态对齐所需要的 gpu 内存和时间。在 MIMIC-CXR 数据集上进行的定性和定量实验验证了该方法的有效性，并展示了在医学跨模态检索任务中的最先进性能。

    Dec, 2023

  • 复杂脑部疾病预测的不完整多模态学习

    本文提出了一种新的不完全多模态数据整合方法，利用变压器和生成对抗网络，利用辅助模态数据来提高单模态模型的性能，并将其应用于预测阿尔茨海默病的认知退化和疾病结果。

    May, 2023