Oct, 2022

AVLEN: 3D 环境下语音 - 视觉 - 语言体现式导航

PDF
TL;DRAVLEN 是一种具有自主探索和人类辅助查询功能的音视频与自然语言导航机器人，通过多模态强化学习对其进行训练，实现了在语言帮助下对声音事件的模态搜索，优化了在复杂情况下的语音 - 视觉导航。
audio-visual-language embodied navigationmultimodal reinforcement learningnatural language assistancesoundspaces frameworkuncertainty
发现论文，激发创造
  • 基于活跃稀疏对话的音视频体感导航改进

    提出了一个交谈式的视听代理机器人 CAVEN，该机器人能够使用多模态强化学习来帮助人 / 预测正确的下一个动作并提出问题，并在语音搜索过程中与人 / 专家互动，尤其在定位新的声源时性能更优。

    Jun, 2023

  • 观察，聆听和行动：走向音频视觉具身化导航

    本文描述了一种音频 - 视觉导航方案，该方案基于移动智能机器人，利用可微卷积神经网络学习视觉感知器和声音感知器，以及动态路径规划器，实现在室内环境中通过音频和视觉数据计算从机器人当前位置到声源的最短路径。

    Dec, 2019

  • 机器人导航的音视频语言地图

    提出了一种名为 Audio-Visual-Language Maps (AVLMaps) 的 3D 空间地图表达方式，集成了来自音频、视觉和语言提示的跨模态信息，可以通过多模态引导实现零样本多模态目标导航，并在模糊场景中提供 50％更好的召回率。

    Mar, 2023

  • 声音空间： 3D 环境下的音视导航

    本研究介绍了一种复杂的，声音和视觉逼真的三维环境中的音频视觉导航方法，使用多模态深度强化学习方法训练导航策略并提出了新的数据集 SoundSpaces，在现实环境中插入任意声源。研究结果表明，在三维空间中，音频对于具身视觉导航有很大的帮助，为音频视觉感知的体验机器人研究奠定了基础。

    Dec, 2019

  • 学习为视听导航设置路径点

    本文介绍了一种基于强化学习的音视觉导航方法，通过动态设置和学习的航点和声音记忆，利用视觉和声音数据揭示了未映射空间的几何结构，实验结果表明，学习视听空间之间的联系对于音视觉导航至关重要。

    Aug, 2020

  • 面向音频 - 视觉导航的泛化音频表示

    该研究提出使用对比学习方法对音频编码器进行正则化以实现模型良好的扩展性，同时使用两种数据增强策略来增加训练声音，从而获得了 13.4% 在 Replica 和 12.2% 在 MP3D 的 SPL 性能增益。

    Jun, 2022

  • VELMA：街景视觉语言导航中 LLM 代理人的语言表达体现

    该研究提出了一个用于视觉和语言导航的具有身体感知的语言模型（VELMA），它能够通过人类书写的导航指令中提取位置信息和使用 CLIP 算法来处理图像信息并实现与真实街景地图的交互，相比先前的研究，在两个数据集中，VELMA 完成任务的成功率相比前者提高了 25％-30％

    Jul, 2023

  • 具备体验智能的视觉 - 语言导航：综述

    长期愿景是提高代理者和环境的感知、理解和交互能力，以实现具体导航的视觉 - 语言导航（VLN）作为实现具体导航的核心研究路径，关注代理者如何使用自然语言与人类进行有效沟通，接收和理解指令，并最终依靠视觉信息实现准确的导航。此综述系统回顾了 VLN 的研究进展并详细介绍了具体导航的研究方向，包括系统架构、基于方法的研究和常用基准数据集，全面分析了当前研究面临的问题和挑战，并探讨了该领域的未来发展方向，旨在为研究人员提供实用的参考。

    Feb, 2024

  • AVLnet：从教育视频中学习音频 - 视觉语言表示

    本文提出了一种自我监督网络 AVLnet，可从视频中直接学习共享的音频 - 视觉嵌入空间，并通过分析 AVLnet 的学习表示提出了一种三模态模型，用于学习多模态语义嵌入空间，其中包括用于音视频检索的文本标题。

    Jun, 2020

  • 人类感知视觉 - 语言导航：通过动态人类交互缩小模拟与现实之间的鸿沟

    Vision-and-Language Navigation involves developing embodied agents that navigate based on human instructions. This paper introduces Human-Aware Vision-and-Language Navigation by incorporating dynamic human activities and relaxing key assumptions, utilizing the HA3D simulator, HA-R2R dataset, Expert-Supervised Cross-Modal, and Non-Expert-Supervised Decision Transformer agents for effective navigation in dynamic human environments.

    Jun, 2024