Dec, 2023

LLMind: 用 LLMs 编排人工智能与物联网，实现复杂任务执行

PDF
TL;DRLLMind 是一个创新的 AI 框架，通过将 LLMs 与领域特定的 AI 模块集成，使得物联网设备能够有效地协同执行复杂任务。LLM 利用基于有限状态机的可靠和精确的语言代码转换方法进行规划和生成控制脚本。该框架还结合了语义分析和响应优化技术，以提高速度和效果。
llmindai frameworkllmsiot devicessemantic analysis
发现论文，激发创造
  • MindAgent：新兴游戏互动

    我们提出了一种新型基础设施，名为 MindAgent，用于评估游戏交互中的规划和协调能力，并引入了新的游戏场景和相关基准，以评估多智能体协作效率。我们使用新的自动度量 CoS 进行全面评估。我们希望我们对大型语言语料库学习的 LLMs 以及用于通用调度和协调的新基础设施的发现能够揭示如何获取这些技能的一些见解。

    Sep, 2023

  • FlowMind: 使用 LLMs 自动生成工作流

    Robotic Process Automation (RPA) 的快速发展在自动化重复任务方面取得了显著进展，然而在用户要求进行即兴或不可预测任务的场景下，其效果减弱。本文介绍了一种新的方法 FlowMind，利用大型语言模型（LLMs）如 Generative Pretrained Transformer（GPT），以解决这一限制并创建一个自动工作流生成系统。FlowMind 通过提供高层次的自动生成工作流描述简化用户交互，并能够有效地检查和提供反馈。我们还介绍了 NCEN-QA，这是一个用于基准化基金的 N-CEN 报告的问题回答任务的金融数据集。我们使用 NCEN-QA 来评估由 FlowMind 生成的工作流与 FlowMind 的基准和消融变体的性能。我们展示了 FlowMind 的成功，论证了提出的讲座方法中每个组件的重要性以及 FlowMind 中用户交互和反馈的有效性。

    Mar, 2024

  • ROS-LLM: 具备任务反馈和结构化推理的 ROS 框架

    通过自然语言提示和来自机器人操作系统（ROS）的上下文信息，我们提出了一个直观的非专业人士机器人编程框架。该框架集成了大型语言模型（LLMs），使非专业人士能够通过聊天界面向系统表达任务要求。它具有与 ROS 集成的 AI 代理与大量开源和商用 LLMs 的连接、从 LLM 输出中提取行为和执行 ROS 动作 / 服务的自动化提取、支持三种行为模式（顺序、行为树、状态机）、模仿学习以将新的机器人行为添加到可能的动作库中以及通过人类和环境反馈实现 LLM 反思的功能。大量实验证实了该框架在各种场景（包括长时间视野任务、桌面重新排列和远程监督控制）中的鲁棒性、可扩展性和多功能性。为了促进我们框架的使用和支持我们结果的可复制性，我们已经将我们的代码开源。您可以在以下网址访问：this https URL

    Jun, 2024

  • 基于需求定制的 LMLs 服务

    通过引入层级分布式的大型语言模型（LLM）架构，提高 LLM 在异构计算平台上的可访问性和可部署性，实现按需访问和定制化服务，并在用户与应用需求之间取得最佳权衡，推动人工智能技术的进步。

    Jan, 2024

  • 从零开始预训练轻量级大型语言模型 MindLLM: 评估与领域应用

    MindLLM 是一系列双语轻量级大型语言模型，通过从头开始训练模型以减轻培训和部署大型语言模型的负担并解决资源不足问题。该论文提供了大模型开发过程中的经验，并介绍了适用于较小模型的创新指令调整框架，同时探索了 MindLLM 在法律和金融等特定垂直领域的应用。

    Oct, 2023

  • 通过大型语言模型探索自主代理：一项综述

    大型语言模型（LLMs）正在改变人工智能，使得自主代理能够在不同领域执行多样化任务。这些代理具备类似人类的文本理解和生成能力，有望在从客户服务到医疗保健等各个领域引发革命。然而，它们面临着诸如多模态、人类价值取向、幻觉和评估等挑战。推动、推理、工具利用和上下文学习等技术正在被探索，以增强它们的功能。像 AgentBench、WebArena 和 ToolLLM 这样的评估平台为在复杂场景中评估这些代理提供了强大的方法。这些进展正在引领更加有韧性和能力的自主代理的发展，预计它们将成为我们数字生活中不可或缺的一部分，协助我们完成从邮件回复到疾病诊断等任务。拥有 LLMs 带头的人工智能的未来充满了希望。

    Apr, 2024

  • 生成 AI 在循环中：将 LLM 和 GPT 集成到下一代网络

    通过将大型语言模型（LLMs）与机器学习（ML）模型相结合，我们提出了 “生成式 AI 在环” 的概念，利用 LLMs 的语义理解、上下文感知和推理能力来辅助人类处理移动通信网络中的复杂或意外情况，并通过合成数据来增强基于 ML 的网络入侵检测，这进一步展示出我们提出的想法的优势。

    Jun, 2024

  • 大规模语言模型在机器人学中的应用：一项调查

    理解和评估机器人的灵活智能是一项复杂的任务，该综述回顾了大型语言模型在机器人领域的应用和对机器人控制、感知、决策制定和路径规划等关键领域的贡献，以及它们面临的潜在挑战。

    Nov, 2023

  • 评估大型语言模型中的多智能体协调能力

    该研究介绍了使用大型语言模型在多智能体协调方面的有效性评估，构建了 LLM-Co 框架来使 LLMs 能够进行协调游戏，并展示了 LLMs 在不同方面的评估结果，从而强调了 LLMs 在复杂协调环境中的潜力。

    Oct, 2023

  • 深入的 AI：使 LLMs 理解物理世界

    最近大型语言模型（LLMs）的发展展示了它们在各种任务中的显著能力。然而，关于 LLMs 的性质及其在涉及真实物理世界信息的任务中整合常识人类知识的潜力仍有疑问。本文通过探索 LLMs 如何通过物联网传感器和执行器与物理世界互动和推理，即所谓的 “穿透型人工智能”，深入探讨了这些问题。本文在两个层面上探索了 LLMs 渗透进物理世界的能力，通过处理感官信号。我们的初步发现表明，LLMs，尤其是 ChatGPT 作为我们探索的代表性例子，在利用它们在训练过程中学到的知识来解释物联网传感器数据并对其进行推理的任务中具有相当独特的能力和技巧。这不仅打开了 LLMs 在传统的基于文本任务之外的新应用领域，而且使得将人类知识纳入到网络物理系统中的方式得以实现。

    Oct, 2023