Mar, 2022

使用少量成对数据学习描述和动作之间的双向翻译

PDF
TL;DR本研究使用少量不同模式的配对数据实现了描述和动作之间的双向翻译，其中使用回归自编码器（RAEs）进行先前训练以处理大量不配对数据，然后用少量配对数据对其进行微调，该方法表现出良好效果，并且可用于大型语言语料库，中间表示的可视化进一步验证了其有效性。
bidirectional translationroboticsrecurrent autoencoderspaired datamotion-captured actions
发现论文，激发创造
  • 机器人行为与语言描述之间的灵活翻译学习

    使用配对门控自动编码器（PGAE）进行机器人动作和语言描述的灵活翻译，并可灵活地从动作到语言和相反地进行翻译。

    Jul, 2022

  • 基于语言模型的配对变分自编码器用于机器人语言学习

    研究了通过预训练语言模型进行机器人的语言描述，在简单的物体操作场景下，实现了机器人行为和语言描述的双向绑定，并提出使用所提供的 PVAE-BERT 模型可以在真实场景中用于实现人机交互的指令。

    Jan, 2022

  • 使用深度循环神经网络学习人体全身运动与自然语言之间的双向映射

    该研究提出了一种使用深度循环神经网络和序列到序列学习学习人体全身运动和自然语言之间双向映射的生成模型，该模型不需要分割或手动特征工程，并学习分布式表示，其结构可以生成逼真的动作或描述.

    May, 2017

  • 跨越语言、视觉和行动：多模态 VAEs 在机器人操作任务中的应用

    我们关注机器人操作中无监督的视觉 - 语言 - 行为映射，探索多模态变分自编码器在无监督机器人操作任务中的应用，并提出一种模型不变训练方法，成功提高模型在模拟环境中的性能，并对个体任务的挑战进行了系统评估，揭示了当前多模态变分自编码器在基于视觉和语言的无监督机器人运动轨迹学习中的潜在优势和限制。

    Apr, 2024

  • 无监督动作转换用于人机模仿

    早期研究旨在通过将人类动作领域中的关节位置序列转化为给定机器人能够实现且受其体现约束的动作领域，从而改进在线人机模仿技术。通过提出一个编码器 - 解码器神经网络模型进行领域转换，利用深度学习方法的泛化能力来解决这个问题。为了训练这样的模型，可以使用与机器人和人类动作相关联的配对数据，然而这样的数据在实践中非常稀少且收集费时。因此，我们转向了无配对领域转换的深度学习方法，并将其改进以实现人机模仿。

    Jan, 2024

  • 基于风格转移的语音和视觉场景理解，用于机器人从视频中获取操作序列

    本文介绍一种从指令视频中生成机器人动作序列的方法，用于实现人机协作，并展示了该方法在各种烹饪动作中的成功率达到 32%。

    Jun, 2023

  • 跨语言再演绎的对话

    报告介绍了一种协议以收集跨语言韵律映射和其他改善语音翻译的方法，包括收集语言之间紧密匹配的话语对的、数据收集的描述，以及一些相关的观察和思考。此报告面向使用语料库，扩展语料库和设计类似的双语对话数据收集的人。

    Nov, 2022

  • 跨模态对齐的低资源神经机器翻译

    本文提出一种跨媒体对比学习方法，将几种低资源语言与高资源语言相连，通过少量的图像 - 文本对实现神经机器翻译，取得了显著的效果。

    Oct, 2022

  • Text2Action: 从语言到行为的生成对抗合成

    本文提出了一种基于生成对抗网络 (GAN) 的生成模型，通过学习自然语言和人类行为之间的关系，在给定人类行为描述的句子的情况下生成一个人类行为序列；使用这个模型，可以使用文本编码器 RNN 和行为解码器 RNN 为机器人或虚拟代理人合成各种操作， 并通过大规模视频数据集 MSR-Video-to-Text (MSR-VTT) 进行训练，生成能够转移到 Baxter 机器人上的人类操作。结果表明，该生成对抗网络正确地建立了语言和行为之间的关系，可以从同一句子中生成不同的动作。

    Oct, 2017

  • 弱监督对应学习

    本文提出了一种基于弱监督的通信学习方法，结合了严格匹配数据和非匹配数据学习，利用状态和动作的时间关系和配对抽象来降低成本和提高通信准确性。

    Mar, 2022