我们的研究提出了一种新方法，通过使用 20 亿个参数的设备上模型，在准确率和延迟方面超越了 GPT-4，并将上下文长度减少了 95％。与基于 RAG 的函数调用机制 Llama-7B 相比，我们的方法将延迟提高了 35 倍，降低到适用于实际生产环境中各种边缘设备部署的水平，符合真实应用的性能要求。

Apr, 2024

利用大型语言模型在软件 API 调用中的提高性能和准确性，通过编译和微调 API 结构和语法，使用条件屏蔽技术确保输出符合预期格式并减少错误率，提出了评估 LLM 在 API 互动中有效性的新基准，并证明了 fine-tuned 模型 Octopus 对于软件 API 调用具有比 GPT-4 更好的性能，推动自动化软件开发和 API 集成的发展，实现了 LLM 能力与实际软件工程应用需求的实质性进展。

Apr, 2024

使用 extit {functional tokens} 和图作为数据结构，Octopus v4 模型整合多个开源模型，实现了更好的性能和选择参数的理解和重新格式化，达到了同级模型中最先进的 MMLU 得分 74.8。

Apr, 2024

Octopus 是一种新颖的大视觉 - 语言模型，能够有效地解读代理的视觉和文本任务目标，并制定复杂的行动序列和生成可执行代码，通过开源模型结构、模拟器和数据集，旨在激发更多创新，并在更广泛的具身化人工智能社区中促进协作应用。

Oct, 2023

该研究介绍了一种基于大型语言模型的多模态代理框架，旨在操作智能手机应用程序，通过简化的操作空间模拟人类的点击和滑动等交互，避免了系统后端访问的需求，并扩大了其适用性。代理的功能核心是其创新的学习方法，通过自主探索或观察人类示范学习并构建知识库以执行跨不同应用的复杂任务，通过在 10 个不同应用程序中进行 50 个任务的广泛测试，证明了代理在处理各种高级任务上的熟练程度。

Dec, 2023

利用 AI 代理进行多领域的规划过程，在设备上使用高效的规划 - 执行框架，通过 Phi-3 Mini 等模型和多种 LoRA 训练的权重，实现了在资源受限设备上的计算效率和灵活处理复杂多领域查询。

Jun, 2024

该论文描述了一个灵活且模块化的平台，用于创建多模态交互式代理。该平台通过事件总线运作，不同的传感器和组件可以通过定义它们的输入和输出作为主题来集成，从而实现进一步解释的逻辑工作流程，该交互以多模态数据记录，并在所谓的情节知识图中记录。通过分析记录的交互，我们可以分析和比较不同的代理和代理组件。

Jun, 2022

文本向视觉组成件的演变有助于人们的日常生活，计算机视觉模型包括多模态能力，最近的研究关注于基于明确对象的图片检测和分类，然而与问题不匹配的算法可能导致不良结果，为了应对这个挑战，我们提出了统一的 VisionGPT-3D 框架来巩固最先进的视觉模型并促进面向视觉的人工智能的发展。

Mar, 2024

多模态人工智能系统中，基于 Agent 的多模态智能研究，通过在真实和虚拟环境中嵌入具有感知能力的智能体，能够处理和解释视觉和语境数据，以提高智能系统的上下文感知和交互能力。

Jan, 2024

我们提出了一种新颖的阿拉伯文本到文本的 Transformer 模型 AraT5v2，通过使用大量和多样化的数据进行系统化训练，并探索了多种预训练策略，包括无监督、有监督和联合训练，在单任务和多任务设置下，超过了竞争基准，进一步开发了基于 Python 的 Octopus 工具包和命令行工具，专为八个阿拉伯生成任务定制，利用单个模型。我们在公开代码库上发布了这些模型和工具。

Oct, 2023