Apr, 2024

Aptly: 利用自然语言编写移动应用

PDF
TL;DRAptly 是一种扩展了 MIT App Inventor 平台的工具，通过代码生成的大型语言模型实现自然语言驱动的移动应用开发；Aptly 通过文本语言与 App Inventor 的块语言相结合，允许通过文本模型实现可视化代码生成；论文详细介绍了 Aptly 服务器如何集成语言模型，以实时协作的方式自动创建和编辑用户指令下的移动应用；最后，通过对涉及高中学生的试点实验的研究结果，论文强调了 Aptly 作为一个工具的潜力，它民主化了应用程序开发并促进了技术创造力。
发现论文，激发创造
  • MIT App Inventor 上的生成型 AI 代理的快速移动应用开发

    通过使用 MIT App Inventor 提供的开发平台，本文提出了一种用于快速开发 AI 代理应用程序的方法论，并展示了三个不同的移动应用程序的开发过程：用于培育可持续社区的 SynchroNet；用于解决拖延症的 ProductiviTeams；以及用于增强社区安全的 iHELP。这三个应用程序都无缝整合了多种生成性 AI 功能，并利用了 OpenAI 的 API，同时在整合不同工具和 AI 功能方面提供了洞察，旨在鼓励年轻开发者参与我们建立实用的 AI 代理应用程序的努力。

    Apr, 2024

  • APPL: 一个可谐和集成程序和大型语言模型提示的提示编程语言

    APPL 是一种桥梁编程语言，能够实现计算机程序与大语言模型之间的无缝嵌入，通过 Python 函数和 LLM 之间互相调用，提供直观的语法、高效的并行运行时、支持故障诊断和重播的追踪模块，以及在几个代表性场景和多代理人对话中的实验证明了 APPL 程序的直观性、简洁性和高效性。并且在三个可并行化的工作流程实验中显示，APPL 能够有效地并行化独立的 LLM 调用，并具有显著的加速比。

    Jun, 2024

  • 强化 LLM 使用智能手机进行智能任务自动化

    AutoDroid 是一种能够在 Android 应用上自动执行任意任务且无需人工努力的移动任务自动化系统，通过自动化的动态分析将 LLMs 的常识知识与应用程序的领域特定知识相结合，实现了功能感知的 UI 表示方法、基于探索的内存注入技术以及多粒度查询优化模块等主要组件，表现出了优于 GPT-4 的效果。

    Aug, 2023

  • 基于 LLM 的智能虚拟助理与流程自动化

    通过使用大型语言模型（LLMs），本研究提出了一种新颖的基于 LLM 的虚拟助手，能够根据高级用户请求自动执行手机应用程序中的多步操作，该系统采用了一种端到端的解决方案来解析指令，推理目标并执行操作，实验证明该系统可在支付宝上以自然语言指令完成复杂的移动操作任务，展示了大型语言模型在实现自动助手完成实际任务方面的潜力。

    Dec, 2023

  • MAPLE：基于大型语言模型嵌入的移动应用预测

    本研究提出了基于大型语言模型嵌入的移动应用预测模型（MAPLE），以应对移动应用预测中复杂的用户行为和不断演化的环境。通过对两个公共数据集的严格测试，结果表明 MAPLE 能够准确解读复杂模式并理解用户背景。这些强大的结果确认了 MAPLE 在不同场景中的多功能性和适应性。虽然其主要设计面向应用预测，但研究结果也强调了大型语言模型在不同领域中的广泛适用性。通过这项研究，我们强调了大型语言模型在应用使用预测中的潜力，并建议它们在模拟人类行为方面具有改变性的能力。

    Sep, 2023

  • AppAgent: 多模态代理与智能手机用户

    该研究介绍了一种基于大型语言模型的多模态代理框架，旨在操作智能手机应用程序，通过简化的操作空间模拟人类的点击和滑动等交互，避免了系统后端访问的需求，并扩大了其适用性。代理的功能核心是其创新的学习方法，通过自主探索或观察人类示范学习并构建知识库以执行跨不同应用的复杂任务，通过在 10 个不同应用程序中进行 50 个任务的广泛测试，证明了代理在处理各种高级任务上的熟练程度。

    Dec, 2023

  • 利用大型语言模型实现移动界面的交互式对话功能

    本文旨在通过预训练大型语言模型及相应的提示技术，实现轻量级、可通用的基于自然语言的手机交互，解决开发人员需要针对每项具体任务创建独立数据集和模型的成本和劳动力问题。研究表明，针对移动 UI 设计的四项重要建模任务中，我们的方法在不需要专用数据集和训练的情况下，取得了令人满意的竞争成绩。

    Sep, 2022

  • 革命性的移动互动：在移动设备上支持 30 亿参数的 GPT LLM

    AI 领域近年来取得了显著的进展，尤其是基于变压器架构的强大大型语言模型（LLMs）的出现。本文介绍了一种创新的 LLM 推理方法，展望了在无需网络连接的情况下，拥有数十亿参数的 LLMs 可以直接在移动设备上执行的未来。该应用程序不仅作为一个通用助手，而且通过原生代码和模型量化技术的结合，还可以实现与文本到动作功能的无缝移动交互。文章还提供了关于本地 LLM 推理的训练流程、实现细节、测试结果和未来方向的见解。这一突破性技术为用户提供了强大的人工智能能力，同时保护了用户的隐私并消除了延迟问题。

    Sep, 2023

  • 探索、选择、派生和召回：为移动任务自动化增添类似人类记忆的 LLM

    MemoDroid 是一种基于大型语言模型的创新移动任务自动化器，通过模拟人类与移动应用程序的认知过程（探索、选择、推导和回忆），将任务分解为可重用、可重新排列和适应于各种目标的模块化组件，实现对任务过程的精确和高效学习。使用在线语言模型服务（GPT-3.5 和 GPT-4）实现 MemoDroid，并在 5 个广泛使用的移动应用程序上对 50 个独特的移动任务进行评估。结果表明，与 GPT-4 驱动的基线相比，MemoDroid 能够以 100％的准确性适应不同的上下文，将任务的延迟和成本分别降低了 69.22％和 77.36％。

    Dec, 2023

  • 在 LLM 时代重新思考移动 AI 生态系统

    智能手机已成为承载多种深度学习模型的中心，该研究介绍了一种新的移动人工智能范式，使用协同管理方法在移动操作系统和硬件之间实现一个基础模型，能够为各种移动人工智能任务提供服务。

    Aug, 2023