Jan, 2024

MResT：多分辨率感知实时控制的视觉语言模型

PDF
TL;DR使用不同空间和时间分辨率的感知模式可以提高机器人操作任务的性能。本研究提出了一种名为 MResT（多分辨率变压器）的框架，利用具有不同容量的网络学习可推广的语言条件多任务策略，以有效地进行精确和反应迅速的实时控制。通过在 3 个领域（粗糙、精确和动态操作任务）进行大量实验，我们证明了我们的方法相对于最近的多任务基线显著改进（平均提升了 2 倍）。此外，我们的方法对目标物体的视觉和几何变化以及交互力的变化具有很好的普适性。
sensing modalitiesmulti-spatial resolutionmulti-temporal resolutionmrestreal-time control
发现论文，激发创造
  • 使用多个时间和空间分辨率的特征实时预测人类行为

    本文研究如何让人工智能在多个时间和空间分辨率上有效地对人类队友进行建模，并针对在 Minecraft 环境中执行任务的实验结果，展示了一种利用高低分辨率空间和时间信息提高人类行为预测准确性的方法。

    Nov, 2022

  • 高效可解释的多分辨率张量学习空间分析

    本文提出了一种新颖的多分辨率张量学习算法，用于在提高解释性的同时提高计算效率，该算法从粗糙的分辨率到细粒度逐步学习，证明了其理论收敛和计算复杂性，并在实际数据集中展现了 4~5 倍的性能提升。

    Feb, 2020

  • 多时间尺度世界模型

    在这项工作中，我们提出了一种概率形式主义来学习多时间尺度世界模型，即 Multi Time Scale State Space (MTS3) 模型。我们的模型使用多时间尺度上的计算有效推理方案，以对未来数秒的高准确性和不确定性进行预测。我们的实验集中于行动条件下的远期预测，结果显示 MTS3 在包括复杂模拟和真实世界动态系统的多个系统识别基准测试中胜过了最近的方法。

    Oct, 2023

  • Beyond RGB: 基于多模态深度网络的高分辨率城市遥感技术

    本文研究使用深度完全卷积网络来处理多模态多尺度遥感数据的语义标注，并采用有效的多尺度方法来提高语义标注的精度和深入研究数据的早期和后期融合方法，并在两个公共数据集上验证了我们的方法，表现出令人满意的结果。

    Nov, 2017

  • 感知、想象、行动：多模态感知改进基于模型的自主竞赛强化学习

    该研究提出了一种自监督传感器融合技术，将自身视觉 LiDAR 和 RGB 相机观测数据相结合，应用于模型驱动的强化学习领域，通过提高状态估计来改善其准确性，并在零样本场景下验证了其有效性。

    May, 2023

  • 判别式多模态语音识别

    本文提出了一种基于视听的两阶段语音识别模型，该模型利用视唇运动信息清晰地区分出背景噪音并提升语音识别率，同时用 P3D 和 EleAtt-GRU 技术进一步提高模型性能，实验证明该模型在 LRS3-TED 和 LRW 数据集上均取得了较大的性能提升，表明 AE-MSR 的必要性和有效性。

    May, 2020

  • RT-2：视觉 - 语言 - 行动模型将网络知识转化为机器人控制

    通过在互联网规模的数据上训练视觉语言模型，将其直接融入端到端的机器人控制中，提高泛化能力和实现新兴的语义推理。我们提出了一种简单通用的方法，在模型训练集中直接将行动表现为文本标记，将自然语言回答和机器人行动合并到同一个格式中，从而实现了单一端到端训练模型的目标。我们将这类模型称为视觉语言行动模型（VLA），并以 RT-2 为例进行了实例化。广泛的评估结果表明，我们的方法可以得到性能优越的机器人策略，并使 RT-2 在互联网规模的训练中获得一系列新兴能力。这包括对新对象的显著改进的泛化能力，解释不在机器人训练数据中的命令（比如将物体放在特定的编号或图标上）的能力，以及对用户指令做出初步推理的能力（比如选择最小或最大的物体，或者离另一个物体最近的物体）。我们进一步说明了通过思维链式推理，RT-2 可以进行多阶段的语义推理，例如找到作为非正式锤子使用的物体（一块石头），或者适合疲劳人群的饮料类型（一种能量饮料）。

    Jul, 2023

  • 基于 Transformer 的多分辨率和多模式语音识别

    本篇论文介绍了一个基于 Transformer 架构的音频视觉自动语音识别（AV-ASR）系统，特别关注视觉信息提供的场景背景，以支撑 ASR。我们从变换器的编码器层中提取音频特征的表示，并使用附加的跨模态多头注意层融合视频特征。此外，我们还采用多任务培训标准用于多分辨率 ASR，同时训练模型生成字符和子词级转录。实验结果表明，多分辨率训练可以加速收敛速度约 50％，并且相对于子词预测模型，单词错误率（WER）性能提高了高达 18％。此外，融合视觉信息可以改善表现，在仅使用音频模型的基础上，相对增益高达 3.76％。我们的结果可与最先进的 Listen, Attend and Spell 架构相媲美。

    Apr, 2020

  • 多智能体注意力活动识别

    通过多智能体空间时间关注模型，智能选择观测到的信息和关联的运动方式来完成并优化活动识别任务。在四种真实世界数据集上的实验结果表明，该模型优于现有的方法。

    May, 2019

  • 多层次时间序列变换器用于长期预测

    提出了一种多分辨率时间序列变压器（MTST）框架，采用了多支架构来同时建模不同分辨率的多样化时间模式，通过相对位置编码提取不同尺度上的周期成分，与现有的时间序列变压器相比，在几个真实世界数据集上进行了广泛实验，证明了 MTST 在与最先进的预测技术的比较中的有效性。

    Nov, 2023