MIRROR:可微分的深度社交投影,用于辅助人机通信
我们通过联合不同的自监督模型来构建一个定制模型,以解决智能机器人通过镜子观察自身并学习从图像中检测自己身体的 3D 姿势的问题。我们展示了该方法的实例,并通过对模型的部署进行了较全面的研究和评估,以提高模型的性能和调整超参数。
Nov, 2023
提出和评估一种新颖的方法,在不依赖任何存储数据或预训练的情况下,在 LLM 代理之间进行知识蒸馏,以实时保留人类角色扮演中的独特语境,并评估我们的系统在模拟的真实世界任务中表现更好。
Mar, 2024
提出了一种多视角自反思方法 Mirror,通过导航器和推理器之间的启发式相互作用,使 LLMs 能够从多个视角线索进行反思,从而避免陷入特定的反思迭代,实验结果表明 Mirror 在几个当代自反思方法上具有优势,并且消除了之前面临的挑战。
Feb, 2024
人与机器协作中,提出了一种基于可解释人工智能(XAI)框架的思维感知沟通技术,借助贝叶斯推理算法,机器建立了人类用户的层次化精神模型,并生成自身思维的解释,实验证明该方法显著提高了协作表现和机器被用户感知的程度。
Jul, 2020
本文描述了通过使用自我识别算法的方法,人造机器人可以通过镜子识别自己并将自己的行为与其他实体区分开来。该算法将主动推理理论模型与神经网络学习相结合,通过自由能最小化推理机体配置并累积证据进行自我识别。实验结果表明该算法在不同的初始条件下具有可靠性。
Apr, 2020
在人形机器人中,我们引入了一种新的传播模型,该模型旨在使机器人直接从第三人称演示中学习。我们的模型能够通过转换两个视角之间的物体大小和旋转以及环境来学习和生成第一人称视角,从而充分利用易于产生的第三人称演示和易于模仿的第一人称演示的优势。该模型可以表示第一人称视角的 RGB 图像或计算关节值。在这项任务中,我们的方法明显优于其他图像到图像模型。
Apr, 2024
通过模仿学习,我们能够快速理解一个新任务,通过演示,我们可以直接获得哪些动作需要执行以及它们的目标的知识。本文介绍了一种新的模仿学习方法,解决了机器人模仿人类所面临的视角变化和身体模式等挑战。我们的方法可以利用单个人类演示来抽象展示任务的信息,并利用该信息进行泛化和复制。我们通过两种最先进的方法进行了新的集成:扩散式动作分割模型用于抽象演示的时间信息,以及开放词汇对象检测器用于空间信息。此外,我们通过符号推理来改进抽象的信息,并利用逆向运动学创建行动计划,以使机器人能够模仿演示的动作。
Jan, 2024
Mirror 是一种开源数据探索和分析平台,通过大型语言模型提供直观的自然语言界面,自动生成可执行的 SQL 命令以检索相关数据并用自然语言汇总。同时,用户可以预览并手动编辑生成的 SQL 命令,以确保其查询的准确性。Mirror 还生成可视化以便于理解数据,是适用于经验数据分析师和非技术专业人员获得其数据所需的信息的良好工具。
Mar, 2023
本文讨论了构建具有社交交互能力的具体化自主智能体是人工智能面临的主要挑战之一,并指出了目前在具体化语言使用方面的研究方向存在的局限性。作者认为,实现人类水平的人工智能需要更广泛的关键社交技能。最后,通过实验研究了一种近期最先进的深度强化学习方法的局限性。
Apr, 2021