Dec, 2023

面向交互式机器人编程的领域特定大型语言模型精调

PDF
TL;DR工业机器人在不断扩大的行业范围内得到应用，但机器人编程大多仍局限于编程专家的任务。我们提出了一种基于自然语言的助手，用于高级工业机器人应用的编程，并研究了在有限的数据和计算资源下领域特定微调基础模型的策略。
industrial robotsprogrammingnatural language-based assistantdomain-specific fine-tuningfoundation models
发现论文，激发创造
  • 面向人机交互的大型语言模型：机遇与风险

    通过对大型语言模型在社交机器人中的潜力进行分析，本研究侧重于教育、医疗和娱乐等社交机器人的应用，并对这些语言模型如何安全地接受培训以 “理解” 社会规范和问题进行了研究，以期为其他有兴趣将语言模型融入机器人的研究人员提供有益指导。

    Mar, 2024

  • 语言模型与交互式任务规划

    一个互动机器人框架可以完成长期任务规划，并能在执行过程中轻松推广到新目标或不同任务。通过语言模型实现了高级规划和低级功能执行的系统，实现了对未知目标的新颖高级指令的生成，并通过仅替换任务指南来适应不同任务，而无需复杂的提示工程。此外，当用户发送新请求时，系统能够根据新请求、任务指南和先前执行步骤精确地重新规划。

    Oct, 2023

  • 语言模型是少样本学习的管家

    使用预训练语言模型和简单的强化学习算法，无需大量专家示范即可在文本环境中操作并取得 51% 的成功率改进。

    Apr, 2021

  • 使用形式方法反馈对语言模型进行微调

    使用自然语言任务描述，通过自动合成基于自动机的控制器，并通过与独立提供的规范进行验证，将预训练语言模型完全自动调优以适应自主系统的应用，从而在减少成本的同时弥补了通用知识和特定领域要求之间的差距，其在自主驾驶等多个任务中显示出有效性，使控制器所满足规范的百分比从 60% 提高到 90%。

    Oct, 2023

  • 用于编码和机器人教育的 LLMs

    大型语言模型和多模态大型语言模型最近已经在人工智能领域引起了革命。在这个背景下，机器人编码教育受到了越来越多的关注。本文探讨了机器人编码教育中的一个重要趋势，并测试了几种主流的大型语言模型在传统编码任务和更具挑战性的机器人代码生成任务中的表现。我们的结果表明，GPT-4V 在所有的测试中表现优于其他模型，但在生成块图像方面遇到了困难。

    Feb, 2024

  • 基于基础模型的人机协同持续机器人学习

    通过使用基于大型语言模型的规划器，我们克服了当前固定技能集的限制，提出了一种用于数据和时间高效教授机器人这些技能的方法，该系统可以重复使用新习得的技能，展示了开放世界和终身学习的潜力。

    Sep, 2023

  • 用大型语言模型引导机器人行走

    使用自然语言处理模型（LLMs）通过少量样本来实现机器人的动态运动控制，充分展示了机器人领域中大规模预训练模型的潜力。

    Sep, 2023

  • 使用大型语言模型生成机器人任务计划

    通过使用编程式的提示结构，可以促使大型语言模型在不同的环境、机器人能力和任务中进行计划生成，从而大大减少了任务规划中需要定义的领域知识。

    Sep, 2022

  • 通过人机对话改善基于场景的自然语言理解

    该论文介绍了一种将自然语言命令翻译成离散机器人动作的方法，并使用澄清对话共同改进语言解析和概念基础。将这个代理程序训练和评估在亚马逊的 Mechanical Turk 平台上的虚拟环境，并在真实环境中将学习到的代理迁移到物理机器人平台进行演示。

    Mar, 2019

  • 利用大型语言模型的反馈加速机器人操控的强化学习

    通过利用大型语言模型的及时反馈，Lafite-RL（语言代理反馈互动式强化学习）框架使强化学习智能体能够有效地学习机器人任务，实验结果表明，Lafite-RL 智能体在自然语言的简单提示设计下，通过大型语言模型的引导在学习效率和成功率方面优于基准模型，凸显了大型语言模型所提供的奖励的功效。

    Nov, 2023