Dec, 2023

探索、选择、派生和召回：为移动任务自动化增添类似人类记忆的 LLM

PDF
TL;DRMemoDroid 是一种基于大型语言模型的创新移动任务自动化器，通过模拟人类与移动应用程序的认知过程（探索、选择、推导和回忆），将任务分解为可重用、可重新排列和适应于各种目标的模块化组件，实现对任务过程的精确和高效学习。使用在线语言模型服务（GPT-3.5 和 GPT-4）实现 MemoDroid，并在 5 个广泛使用的移动应用程序上对 50 个独特的移动任务进行评估。结果表明，与 GPT-4 驱动的基线相比，MemoDroid 能够以 100％的准确性适应不同的上下文，将任务的延迟和成本分别降低了 69.22％和 77.36％。
large language modelsmobile task automationmemodroidapp memorytask procedure
发现论文，激发创造
  • 强化 LLM 使用智能手机进行智能任务自动化

    AutoDroid 是一种能够在 Android 应用上自动执行任意任务且无需人工努力的移动任务自动化系统，通过自动化的动态分析将 LLMs 的常识知识与应用程序的领域特定知识相结合，实现了功能感知的 UI 表示方法、基于探索的内存注入技术以及多粒度查询优化模块等主要组件，表现出了优于 GPT-4 的效果。

    Aug, 2023

  • 基于记忆增强的 LLM 个性化学习，短期和长期记忆协调

    通过使用参数高效的微调模式和计算仿生记忆机制，我们提出了一种新颖的个人化大语言模型方法，该方法在用户导向的生成任务中展示了卓越的效果和优越性能。

    Sep, 2023

  • 基于 LLM 的智能虚拟助理与流程自动化

    通过使用大型语言模型（LLMs），本研究提出了一种新颖的基于 LLM 的虚拟助手，能够根据高级用户请求自动执行手机应用程序中的多步操作，该系统采用了一种端到端的解决方案来解析指令，推理目标并执行操作，实验证明该系统可在支付宝上以自然语言指令完成复杂的移动操作任务，展示了大型语言模型在实现自动助手完成实际任务方面的潜力。

    Dec, 2023

  • 使用 LLMs 探索定性研究

    本研究对语言模型（LLMs）的理解能力进行了比较和对照，发现人类分析师和 LLMs 的分类和推理能力存在显著差异，但二者合作可能会产生协同效应，从而丰富了定性研究。

    Jun, 2023

  • 通过代理分析提高机器人任务学习中从 LLMs 提取知识的能力

    介绍了通过内置的自主机器人来扩大 LLM 响应的空间，根据语言能力、身体实体、环境和用户喜好挑选、修补、选择 LLM 提供的响应，从而使机器人能够完成 75% 以上的任务一次学习并显著减少需要人工监督的程度。

    Jun, 2023

  • 像人类驾驶：用大语言模型重新思考自动驾驶

    本文探讨使用大型语言模型（LLM）作为自动驾驶系统的潜力，认为传统优化和模块化的自动驾驶系统无法应对复杂情况，提出了理想的自动驾驶系统应具备的推理、解释和记忆三个关键能力，并通过实验证明 LLM 在自动驾驶中具有卓越的推理能力为人类化自动驾驶的发展提供了有价值的思路。

    Jul, 2023

  • 革命性的移动互动：在移动设备上支持 30 亿参数的 GPT LLM

    AI 领域近年来取得了显著的进展，尤其是基于变压器架构的强大大型语言模型（LLMs）的出现。本文介绍了一种创新的 LLM 推理方法，展望了在无需网络连接的情况下，拥有数十亿参数的 LLMs 可以直接在移动设备上执行的未来。该应用程序不仅作为一个通用助手，而且通过原生代码和模型量化技术的结合，还可以实现与文本到动作功能的无缝移动交互。文章还提供了关于本地 LLM 推理的训练流程、实现细节、测试结果和未来方向的见解。这一突破性技术为用户提供了强大的人工智能能力，同时保护了用户的隐私并消除了延迟问题。

    Sep, 2023

  • 机器心理学：大型语言模型预测人类记忆

    通过测试 ChatGPT 在语言记忆任务中对人类表现的预测能力，研究发现 ChatGPT 和人类的表现有惊人的一致性，尽管它们的内部机制可能存在显著差异，这一发现强调了生成型人工智能模型在准确预测人类表现方面的潜力。

    Mar, 2024

  • 通过人机协作增强基于 LLM 的机器人操控

    通过人机协作的方式，本文提出了一种增强基于大型语言模型的自主操作的方法，并应用于机器人的高级语言指令解析、运动规划和理解环境。在与人类的互动过程中，通过结合远程操作和动态运动原理实现机器人从人类引导中学习。通过实验表明，在复杂轨迹规划和环境推理方面，基于大型语言模型的机器人通过融入人类示范可以高效地完成任务。

    Jun, 2024

  • 利用大型语言模型实现移动界面的交互式对话功能

    本文旨在通过预训练大型语言模型及相应的提示技术，实现轻量级、可通用的基于自然语言的手机交互，解决开发人员需要针对每项具体任务创建独立数据集和模型的成本和劳动力问题。研究表明，针对移动 UI 设计的四项重要建模任务中，我们的方法在不需要专用数据集和训练的情况下，取得了令人满意的竞争成绩。

    Sep, 2022