Jul, 2023

厘清 “半满还是半空” 的问题：多模态容器分类

PDF
TL;DR本文比较了在 NICOL 机器人的实验环境下，融合视觉、触觉和本体感数据的不同可能性，并演示了多模式解决方案在分类容器及其内容方面的优越性，评估了在不同时间步骤集成数据的三种融合策略，并发现最佳融合策略的准确度比仅使用单一感觉的最佳策略高出 15％。
发现论文，激发创造
  • 低质量数据的多模态融合：全面调查

    基于低质量数据的多模态融合面临四个主要挑战：噪声多模态数据，不完整多模态数据，不平衡多模态数据和质量变化多模态数据。本文通过全面的分类对多模态融合的常见挑战和最新进展进行调研，为研究人员提供了了解该领域现状和发现潜在研究方向的方法。此外，本文还讨论了该领域的开放问题以及有趣的未来研究方向。

    Apr, 2024

  • 多模态机器学习：概述与分类

    多模态机器学习作为一个充满潜力的多学科领域，在不断发展和完善，其普遍的分类包括：表示、翻译、对齐、融合和协同学习。该研究旨在通过共性的分类方式，综合总结目前该领域的研究进展，以期为未来的研究指明方向。

    May, 2017

  • 多模态融合交互：人工智能量化的研究

    研究了如何通过人工注释对多模态交互进行分类，提出了信息分解方法，比较了部分标签和反事实标签的机会和限制，并提出了一种自动转换方法以量化多模态数据集中的交互

    Jun, 2023

  • 多模态分类分析社交媒体

    本研究使用池化层和辅助学习任务进行多模态社交媒体数据分类，具有良好的鲁棒性和高准确性，并与传统融合方法相比有着显著的优势。

    Aug, 2017

  • 多模态智能：表示学习、信息融合与应用

    本文综述了多模态智能领域中的各种模型和学习方法。主要关注点是视觉和自然语言模态的组合，涵盖了多模态表示学习、多模态信号融合以及多模态应用等方面，旨在为相关社群未来的研究提供参考。

    Nov, 2019

  • 自动驾驶感知的多模态传感器融合技术综述

    本文针对自动驾驶感知任务中存在的多模态融合问题进行文献综述，分析超过 50 篇包括 LiDAR 和相机在内的感知传感器解决目标检测和语义分割任务的方法，并提出一种更合理的分类方法。

    Feb, 2022

  • 高效大规模多模态分类

    本文研究多模态分类问题，其中一种模态是离散的文本，另一种模态是连续的视觉表示，我们针对需要快速分类大量数据的情况进行分析，提出了多种方法进行多模态融合，并分析了它们在分类精度和计算效率上的权衡。结果表明，连续信息的引入可以有效提高多模态分类任务的性能，并克服了融合过程的复杂性和消耗的计算资源。此外，本文还介绍了一种分割连续特征以进一步加速和简化融合过程的方法，在提高解释性的同时超越了单一文本分类的精度。

    Feb, 2018

  • 多模态感知中基于生成模型的软体机器人交互

    该研究介绍了一个感知模型，通过协调来自不同模态的数据，构建一个完整的状态表示和吸收必要的信息，从而为开发复杂的控制策略铺平了道路。该模型基于感知输入和机器人动作之间的因果关系，采用生成模型来高效压缩融合信息并预测下一个观察值。我们首次提出了关于如何从视觉和本体感知预测触觉以及跨模态生成的研究，以及这对于软体机器人在非结构化环境中的交互的重要性。

    Apr, 2024

  • 文化遗产艺术品的多模式元数据分配

    我们开发了一个多模态分类器，在文化遗产领域使用了一种后期融合的方法，并引入了一种新颖的数据集。

    Jun, 2024

  • 多模态表示学习中早期融合的好处

    该篇论文通过创建卷积 LSTM 网络结构，研究了多模态表示学习中视听融合的早期处理，结果表明，在初始 C-LSTM 层中立即融合音频和视觉输入可以提高网络的性能，使其更能够抵抗白噪声的干扰。

    Nov, 2020