Feb, 2024

DecisionNCE: 通过隐式偏好学习实现的具身多模态表示

PDF
TL;DR通过多模态预训练方法，本论文提出了一种通用的统一目标，可以同时从图像序列中提取有意义的任务进展信息，并将其与语言指令无缝对齐，以提供一种优雅地提取本地和全局任务进展特征的实体化表示学习框架，通过隐式时间对比学习强制执行时间一致性，并通过多模态联合编码确保轨迹级指令定位，从而为统一的表示和奖励学习提供了多样化的解决方案。
发现论文，激发创造
  • 面向人类的机器人操作的表示学习

    人类具有内在的通用视觉表征，使其能够高效地探索和与环境进行物体操控。本研究提出使用多任务微调的方式在经过预训练的视觉编码器上学习感知技能，通过任务融合解码器指导表示学习，使得对于所有感知技能来说，学习编码的结构能够更好地表示重要信息，最终为下游的机器人操控任务提供帮助。大量实验验证了任务融合解码器在多个机器人任务和仿真及现实环境中对于三种最先进的视觉编码器（R3M、MVP 和 EgoVLP）的表示进行了改进，提升了下游操控策略的学习性能。

    Oct, 2023

  • 视觉表征学习的多模态对比训练

    通过同时利用内部数据属性和跨模态关联的语义信息，开发了一种学习视觉表示形式的方法，其中包括多种类型的对比损失，从而提高了学习到的视觉表示的质量。该方法在 COCO 数据集上进行训练，可以被用于图像分类、目标检测、实例分割等下游任务，并在 ImageNet 数据集上实现了 55.3% 的顶级验证精度。

    Apr, 2021

  • 语言理解通用多模态表示

    本文提出了一种新方法来将视觉信息作为协助信号用于 NLP 任务，使用 Transformer 编码器和卷积神经网络来对文本和图像进行编码，通过注意力层将两种模态的表征进行融合，实验结果表明，该方法在不同的任务和语言中都具有很好的效果。

    Jan, 2023

  • 多模态预训练模型用于顺序决策：综合、验证、基础和感知

    利用预训练模型和视觉观察的知识，发展一种算法来构建和验证用于顺序决策任务的控制器，并将这些控制器与任务环境进行关联。

    Aug, 2023

  • 多模态不确定性感知视觉 - 语言预训练模型

    本文通过概率分布编码器（PDE）将所有模态的表示作为概率分布映射，对不确定性建模，提出了基于概率分布的预训练任务并在视觉和语言联合任务上实现了最先进的结果。

    Oct, 2022

  • 通过预训练和多任务微调掌握多模态机器人操作

    通过引入一个有效的框架，从多任务的专家轨迹中学习使用多模式提示进行机器人操作，我们在 VIMA-BENCH 上评估了方法的功效，并建立了一个新的最先进水平（成功率提高了 10%）。此外，我们还展示了我们的模型具有显著的情境学习能力。

    Oct, 2023

  • 借助多模态的大型语言模型增强机器人操作的人工智能反馈

    通过使用多模式语言模型从图像输入中提供自动化的偏好反馈来指导决策的研究，展示了一种能够理解机器人操纵任务中轨迹视频的多模式语言模型 CriticGPT，该模型能够提供分析和偏好反馈，并验证了所生成的偏好标签的有效性，实验评估表明其对新任务具有有效的泛化能力，并在 Meta-World 任务上的性能展示了 CriticGPT 的奖励模型能有效指导策略学习，超越了基于最新的预训练表示模型的奖励。

    Feb, 2024

  • 多模态上下文化计划预测用于体验式任务完成

    本文研究了在任务规划中，使用多模态上下文和自然语言处理来进行高层次的计划预测，以提高机器人物理系统的可迁移性，并利用理想计划作为基准来评估计划预测模型的改进空间。

    May, 2023

  • 想象力提高多模翻译

    本文研究了多模式翻译任务的两个子任务：学习翻译和学习视觉有关表征，并在多任务学习框架中通过注意力编码器 - 解码器和图像表征预测的方式实现。通过实验发现，这种方法在 Multi30K 数据集上比基准表现要好，即使在外部 MS COCO 数据集进行训练也同样有效，而在外部 News Commentary 平行文本训练翻译模型时进一步提高了性能。

    May, 2017

  • PEAC：无监督预训练跨体现感知强化学习

    通过无监督学习以及预先训练的方式，提出了一种适用于不同体现形式的强化学习的控制策略，能够显著提高适应性能和跨体现形式的泛化能力。

    May, 2024