关键词multimodal neural networks
搜索结果 - 4
- 多模态学习中的单模态偏差理论
使用多输入流同时训练多模态神经网络在直觉上有优势，但在实践中具有挑战性。本文通过深度多模态线性网络的理论研究，揭示了联合训练中的单模态偏差问题，包括它与网络结构、数据统计和初始化的关系，以及它可能导致的泛化缺陷和永久性单模态偏差。此外，研究 - 基于硬件感知的资源受限设备上的多模态神经架构搜索：Harmonic-NAS
提出了一种用于多模态融合网络的联合优化框架，通过嵌入硬件维度进行优化，结果表明在各种设备和多模态数据集上，Harmonic-NAS 相对于现有方法具有更高的准确率改进、更低的推理延迟和更高的能效提升。
- 自然语言社会中的心智风暴
通过组建具有不同 NN 的语言模型和通过自然语言界面进行通信的人工智能社会，提高了多模式零 - shot 推理。而新代理的加入，容易以模块化方式实现。其中集成了多个完整的代理，利用 mindstorms 来解决一些实用的 AI 任务，并探讨 - CVPR防御多模融合模型免受单一来源的攻击
本研究旨在分析多模态神经网络在单模态最坏情况下 (即对抗性攻击) 的鲁棒性，并提出了一种对抗性融合策略，该策略与现有方法相比，可显著提高单源鲁棒性，并在不影响干净数据性能的情况下，在多种多模态任务上实现了良好的表现。