May, 2023

交替梯度下降和专家混合模型用于综合多模态感知

PDF
TL;DR该研究介绍了一种称为 “Integrated Multimodal Perception（IMP）” 的多模态多任务训练和建模方法，采用转换编码器对图像、视频、文本和音频等多模态输入进行整合处理，在一系列下游任务中实现了竞争性能和提高。在零样本视频分类方面取得了显著的性能提升，达到了此前所未有的最新水平。
multimodal perceptiontransformer encoderalternating gradient descentmixture-of-expertszero-shot video classification
发现论文，激发创造
  • MoMo: 一种用于文本、图像和多模态表示的共享编码器模型

    本文提出了一种自主监督的共享编码器模型，在数据、内存和运行时效率高的同时，在几个视觉、语言和多模式基准测试中取得了强大结果。

    Apr, 2023

  • 通过即时梯度调控实现平衡多模态学习

    本文研究了多模式学习中可能存在的优化失衡问题，提出了一种新的梯度调节方法，通过动态监测不同输入模态的贡献来自适应地优化每个模态，以解决某些场景下存在的支配模态问题，并且在不同的多模式任务中能够获得显著的改进效果。

    Mar, 2022

  • 多损失梯度调节改进多模态学习

    通过学习多种模态（如音频和视频）可以利用互补信息，提高模型性能，本文提出了一种多损失目标和改进的平衡过程，通过动态调整不同模态的学习速度来实现更好的结果。

    May, 2024

  • 算法名称：自适应池化迭代匹配与姿态估计

    本文提出了一种基于几何关系的迭代匹配和位姿估计框架（IMP），它利用几何信息将匹配和位姿估计两个任务联系起来，并引入了一种几何感知模块（Geometry-aware recurrent attention-based module）和一种称为 EIMP 的有效 IMP 来提高算法的效率和准确性。实验结果表明，该方法在准确度和效率方面优于以往的方法。

    Apr, 2023

  • MoEController: 使用混合专家控制器进行基于指令的任意图像操作

    基于扩散模型的文字引导图像生成在开放领域图像处理任务中取得了令人惊讶的进展，本研究提出了一种混合专家控制器的方法，以将不同类型的人类指令与不同的扩散模型的文字引导能力相结合，实现对各种开放领域图像处理任务的处理。

    Sep, 2023

  • LIMoE 模型在多模态对比学习中的应用：语言 - 图像专家混合

    提出了一种用于多模态学习的稀疏专家模型 LIMoE，该模型接受图像和文本，使用对比损失进行训练，并提出一种熵基准的正则化方案。LIMoE 在多个尺度上展示出优异的性能，并能够实现零样本 ImageNet 准确度的显著提高。

    Jun, 2022

  • 用于参数高效微调的直觉感知的一级专家的混合模型

    多任务场景下，大型语言模型（LLMs）面临着适应性挑战，而《混合专家模型》（MoE）以其稀疏架构有效地解耦任务而成为一种有希望的解决方案。本研究设计了一种模仿人类大脑的新框架《Intuition-MoR1E》，利用实例的内在语义聚类处理多任务情境，为优化特征分配提供了隐含指导。此外，引入了先进的《Rank-1 专家公式》来管理一系列直觉，在多任务 LLM 微调中表现出增强的参数效率和效果。广泛的实验证明，《Intuition-MoR1E》在 14 个公共数据集上相对于其他最先进方法具备更高的效率和 2.15％的整体准确度提升。

    Apr, 2024

  • FuseMoE: 灵活模态融合的专家混合变压器

    通过混合专家框架和创新的门控函数，本研究介绍了 FuseMoE 模型，该模型可以有效地处理多模态数据、缺失模态以及时间上的不规则和稀疏采样数据，从而改善模型预测性能。通过临床风险预测任务的验证，证实了 FuseMoE 在实际应用中的实用性。

    Feb, 2024

  • IMF：交互式多模态融合模型用于链接预测

    该研究提出了一种交互式多模态融合技术，可在保留各自模态特征的同时，更好地融合来自不同模态的知识，以实现更好的链接预测效果，并在多个真实世界数据集上进行了实证评估。

    Mar, 2023

  • Uni-MoE：使用专家混合方法扩展统一多模态 LLMs

    开发一种用于多模态大型语言模型的混合专家 (Uni-MoE) 架构，具有一致的多模态表示，通过稀疏的模态级数据并行和专家级模型并行实现高效的训练和推理，进一步减少性能偏差，并提高多专家的协作和泛化能力。

    May, 2024