Nov, 2023

SAGE：智能家居代理与实际执行

PDF
TL;DR介绍了 SAGE（智能家居功能带有基于自主执行的代理）框架，以最大化智能家居助手的灵活性，通过使用基于 LLM 的自主代理系统取代手动定义的推理逻辑。SAGE 通过协调一系列工具整合用户偏好、设备状态和外部因素（如天气和电视时间表），具有从自然语言表达中学习用户偏好、通过阅读 API 文档与设备进行交互、编写代码持续监控设备以及理解自然设备引用等能力。为了评估 SAGE，我们开发了一个由 43 个具有挑战性的智能家居任务构成的基准，SAGE 成功完成了 23 个任务，显著优于现有的 LLM-enabled 基线（5/43）。
发现论文，激发创造
  • SwiftSage：一种具备快、慢思维能力的生成性代理，用于复杂交互任务

    SwiftSage 是一个受到人类认知双过程理论启发的新型代理框架，旨在通过行为克隆和提示大型语言模型的优势来提高任务完成性能，它在 30 项科学世界基准任务中显著优于其他方法。

    May, 2023

  • SAGE: 在语言指令下桥接语义和可行动部分实现可推广的关节对象操作

    基于语言指令，我们提出了 SAGE 框架，它能够通过语义解释和实际操作的部分之间的联系实现通用的关节物体操作，通过语言指令、视觉输入和互动反馈实现对关节物体的多样化操作。

    Dec, 2023

  • Sasha：基于大语言模型的智能家居创造性目标导向推理

    探索利用大型语言模型控制设备和创建自动化程序以实现用户命令的隐含目标，提出 Sasha 系统以创造性、目标导向的方式实现智能家居中的用户需求。

    May, 2023

  • 基于验证辅助的迭代情境学习的面向解决方案的代理模型生成

    SAGE 是一个用于自动建模和针对性问题生成解决方案的通用的面向问题的 Agent-based models 生成框架，它利用大型语言模型的跨领域知识进行在上下文学习过程中辅助验证，通过引导 LLMs 建模场景和提出假设性解决方案的目标表示，确保模型可执行性和解决方案的可行性。

    Feb, 2024

  • 多智能体系统建模的智能家居环境

    本论文介绍了一个智能家居环境的原型，其中包括三个智能代理和五个位置，旨在通过自动化技术管理设备和系统，减少运营成本并监测居民健康状况以维护其健康生活。

    Mar, 2023

  • SAGE: 深度强化学习中为近视模型生成符号化目标

    本文提出新的算法 SAGE，结合符号性规划与神经网络学习等方法，以克服传统模型的局限，更高效地解决基于模型的强化学习在处理部分了解环境时遇到的问题。该算法在出租车环境和 Minecraft 等变化场景中的表现优于其他方法。

    Mar, 2022

  • 自主驱动的概念建立：具备自动语言对齐技能学习的大型语言模型代理

    大型语言模型（LLMs）显示出它们在人类世界的丰富语义知识方面的强大自动推理和规划能力。然而，接地问题仍然阻碍了 LLMs 在真实环境中的应用。为了自主将 LLM 接地到环境中，我们提出了自主驱动接地（SDG）框架，用于自动和渐进地通过自主驱动技能学习将 LLM 接地。通过在著名的指令遵循任务集 - BabyAI 中进行验证，SDG 在最具挑战性的任务中达到了与成百上千次演示成本的模仿学习方法相媲美的性能，证明了学习到的技能的有效性，显示出我们框架的可行性和效率。

    Sep, 2023

  • MobileAgent: 通过人机交互和标准操作程序集成增强移动控制

    利用大型语言模型中心的代理机构，通过个性化学习和在线高级用户指令执行，实现自动化移动设备操作，同时解决隐私问题和复杂任务执行挑战。

    Jan, 2024

  • iSAGE: 数据流上在线解释的 SAGE 增量版本

    本文介绍了用于动态学习环境下的直接增量化 SAGE 方法 iSAGE，同时提供了一种基于条件数据分布的特征移除有效近似方法，进一步进行了正式的分析和实验验证。

    Mar, 2023

  • SAGE：面向十亿级产品目录的结构化属性值生成

    我们介绍了 SAGE，这是一个用于在全球电子商务目录中推断产品属性值的生成型 LLM。我们引入了一种新颖的属性值预测问题的公式化，作为一个跨语言、产品类型和目标属性的 Seq2Seq 总结任务。我们的新颖建模方法消除了在预测属性值时必须从预定选择集合中进行选择的限制，以及必须在文本中明确提及所需属性值的要求。SAGE 甚至可以推断那些用迂回语言含蓄提及或根本未提及的属性值，例如普遍常识默认值。此外，SAGE 可以预测某个属性在手头产品中是否不适用或无法从可用信息中获得。SAGE 是首个能够应对电子商务目录中实际设置中出现的属性 - 值预测任务的方法。一系列综合实验证明了所提方法的效果以及其对现有最先进方法的优越性。此外，我们的实验突出了 SAGE 在零样本情境中预测属性值的能力，从而为大幅减少所需的标记示例总数提供了机会。

    Sep, 2023