Apr, 2024

AI2Apps: 基于 LLM 的 AI 智能代理应用的可视化 IDE

PDF
TL;DRAI2Apps 是一个具有全周期能力的视觉集成开发环境，旨在加速开发人员构建可部署的基于 LLM 的人工智能代理应用。通过将完备的开发工具集和直观的可拖放组件相结合，AI2Apps 确保了开发的高效和流畅。一项扩展插件系统 AAE 展示了新插件如何使 Web 代理模拟类似于人类浏览行为，通过我们的案例研究，证明了 AI2Apps 在调试复杂多模态代理时，减少了 90％的令牌消耗和 80％的 API 调用，其在线演示、开源代码和屏幕录像视频现已公开访问。
发现论文，激发创造
  • MIT App Inventor 上的生成型 AI 代理的快速移动应用开发

    通过使用 MIT App Inventor 提供的开发平台，本文提出了一种用于快速开发 AI 代理应用程序的方法论，并展示了三个不同的移动应用程序的开发过程：用于培育可持续社区的 SynchroNet；用于解决拖延症的 ProductiviTeams；以及用于增强社区安全的 iHELP。这三个应用程序都无缝整合了多种生成性 AI 功能，并利用了 OpenAI 的 API，同时在整合不同工具和 AI 功能方面提供了洞察，旨在鼓励年轻开发者参与我们建立实用的 AI 代理应用程序的努力。

    Apr, 2024

  • 关于人工智能启发的用户界面设计

    通过本文讨论了三种不同的方法来利用人工智能 (AI) 来支持应用设计师创造更好、更多样化和更具创意的移动应用界面 (UI)：第一种方法是设计师可以使用大型语言模型 (LLM)，如 GPT，直接生成和调整一个或多个 UI；第二种方法是使用视觉 - 语言模型 (VLM) 有效地搜索大型截图数据集，例如应用商店中发布的应用；第三种方法是训练一个专门设计用于生成应用界面的扩散模型 (DM)，作为启发性图片。我们讨论了如何使用 AI 来激发和辅助创造性应用设计，而不是自动化它。

    Jun, 2024

  • AutoDev：自动化 AI 驱动的开发

    AutoDev 是一个全自动化的 AI 驱动的软件开发框架，旨在实现复杂软件工程任务的自主规划和执行，通过自动化的方式执行任务并确保安全和用户控制的开发环境。

    Mar, 2024

  • MetaAID：一个通过 AI 技术和人工编辑开发元宇宙应用的灵活框架

    提出了一个新的灵活的元宇宙人工智能技术框架 metaAID，该框架可支持多种人工智能技术在数字孪生和虚拟人类的开发中使用。开发元宇宙应用程序涉及技术开发任务和手动编辑工作，并经常成为一个重量级多团队协作项目，而多个行业的元宇宙应用程序开发更加困难。在此框架的基础上，我们设计了 5 个应用程序来支持国内需求和经济内部循环的 3 个行业，并通过实验结果表明，我们的框架可以支持各行业开发元宇宙应用时的人工智能技术。

    Apr, 2022

  • AI 低代码开发 AI

    LowCoder 是第一个既支持视觉程序界面又支持自然语言接口的低代码工具，我们通过用户研究发现，LowCoder 特别有用于 AI 操作员的发现性和迭代组合。

    May, 2023

  • 基于人工智能的移动应用程序：一项探索性研究

    本文通过数据集分析、关键问题定位和用户反馈与隐私保护等多方面对 56682 款 AI 应用进行了研究，揭示了其中的不足之处，如模型保护不足，用户隐私数据泄露等，还提供了数据集以供未来研究引用。

    Dec, 2022

  • LLM 作为操作系统（LLMAO），代理人作为应用程序：展望 AIOS、代理人和 AIOS-Agent 生态系统

    这篇论文描述了一个具有革命性的 AIOS-Agent 生态系统，其中大型语言模型（LLM）作为具有灵魂的（人工）智能操作系统（IOS 或 AIOS）的基础。在此基础上，开发了多种基于 LLM 的 AI Agent 应用（AAPs），丰富了 AIOS-Agent 生态系统，并标志着从传统的 OS-APP 生态系统向新的范式转变。我们预见 LLM 的影响不会局限于人工智能应用层面，相反，它将彻底改变计算机系统、架构、软件和编程语言的设计和实施，主要概念包括 LLM 作为操作系统（系统级别）、应用程序作为应用程序（应用程序级别）、自然语言作为编程接口（用户级别）和工具作为设备 / 库（硬件 / 中间件级别）。

    Dec, 2023

  • 自动化系统中用于人工智能应用的图形建模语言

    本文提出了一种图形建模语言，用于对自动化系统中的人工智能应用程序进行一致和可理解的建模，从而将个别子领域细分为特定于领域的子系统，从而降低了存在的维护和整合工作量。

    Jun, 2023

  • AI2：面向本地语言的可解释机器学习框架的下一个飞跃

    提出了一个名为 AI$^{2}$ 的框架，该框架利用自然语言接口，使非专家可以从机器学习算法中受益，其主要贡献是用英语调用机器学习算法，使其界面更易于使用。

    Jan, 2023

  • 朝着真正的智能应用程序：研究智能手机内置 AI 应用程序中的人工智能交互

    本研究探索手机应用程序中的人工智能功能使用现状，总结了三种主要的交互模式类型，并实施了一个多方面的搜索启用画廊，研究结果表明了我们发现的有用性。

    Jul, 2023