May, 2023

i-Code Studio：一个可配置的、可组合的综合人工智能框架

PDF
TL;DR文章提出了一个配置和可组合的框架 i-Code Studio，用于处理 AGI 中的多模态任务，并且成功地在影片文本检索、语音翻译、视觉问答等多个任务中实现了出色的结果。
artificial general intelligenceintegrative aimodel compositioncomposable frameworkmultimodal tasks
发现论文，激发创造
  • i-Code: 一种集成且可组合的多模态学习框架

    该论文提出了一种自我监督的预训练框架 ——i-Code，用户可以将视觉、语音和语言的模态灵活地组合成统一的多用途向量表示，通过融合网络使用新颖的注意机制和其他架构创新来从不同模态中有效地组合信息，实验证明 i-Code 可以优于现有的技术在五个视频理解任务和 GLUE NLP benchmarks 上取得最先进的表现。

    May, 2022

  • i-Code V2：基于视觉、语言和语音数据的自回归生成框架

    文章提出了 i-Code V2，这是第一个能够从任何视觉、语言和语音数据组合中生成自然语言的模型，它通过利用最先进的单模态编码器将各类模态组合并映射到一个共享表征空间，并使用自回归解码器从这些表征中生成语言词汇。i-Code V2 在大量数据集上进行端到端预训练，通过文本补全目标实现泛化在任意模态组合上，展示出了多模态预训练在各种任务和信号方面的强大性能。

    May, 2023

  • CodeCompose：AI 辅助代码编写的大规模工业部署

    本文介绍了一种基于大型语言模型和 AI 技术的代码编写工具 CodeCompose，并讨论了它在工业规模部署中的挑战和测量数据。CodeCompose 不仅能够辅助编写代码，还能够提高代码质量和产生其他积极影响。

    May, 2023

  • IntelliCode Compose：使用 Transformer 进行代码生成

    本文介绍了 IntelliCode Compose—— 一种通用的多语言代码自动完成工具，它可以预测任意类型的代码令牌序列，生成最多整行语法正确的代码。它利用了基于 1.2 亿行 Python、C#、JavaScript 和 TypeScript 编程语言源代码训练的最先进的生成式变换模型，在 Visual Studio Code IDE 和 Azure Notebook 中实现了按编辑时间完成建议要求的客户端树形缓存、高效的并行实现的波束搜索解码器和计算图优化。我们的最佳模型为 Python 编程语言提供了 86.7％的平均编辑相似度和 1.82 的困惑度。

    May, 2020

  • AgentStudio: 一个用于构建通用虚拟代理的工具包

    创建具备适应任意软件在任何数字设备上运行的自主虚拟代理人仍然是人工智能的一个重大挑战。为了解决这个问题，我们介绍了 AgentStudio，这是一个在线、逼真且多模态的工具包，涵盖了代理人开发的整个生命周期，包括环境设置、数据收集、代理人评估和可视化等。

    Mar, 2024

  • RoboCodeX: 机器人行为综合的多模态代码生成

    提出了一种用于广义机器人行为综合的树状多模态代码生成框架 RoboCodeX，通过将高级人类指令分解为多个以物体为中心的操作单元，并应用代码生成来实现对各种机器人平台的广义化能力。通过预训练和迭代自更新方法引入了专门的多模态推理数据集，以增强将概念和感知理解转化为控制命令的能力。大量实验证明 RoboCodeX 在模拟器和真实机器人上在四种不同类型的操作任务和一种导航任务中实现了最先进的性能。

    Feb, 2024

  • 展望下一代人工智能编码助手：见解与建议

    我们在开发 IDE 中的 AI 编码助手方面提出了四个关键收获：AI 编码助手应明确使用期望，与先进的 IDE 功能和现有扩展集成，使用可扩展的后端设计，并负责地收集应用数据以进行后续分析。我们提出了学术界和工业界需要解决的开放性问题和挑战，以实现下一代 AI 编码助手的愿景。

    Mar, 2024

  • 利用面向环境智能平台加速多模态、融合型人工智能系统的开发

    本文介绍了用于多模态、综合人工智能系统的开源框架 Platform for Situated Intelligence, 提供了基础设施、工具和组件，特别适用于发展物理场景互动系统，以便更好地与人交互，如社交机器人、虚拟助手、智能会议室等，同时也讨论了该框架对 HRI 的影响。

    Oct, 2020

  • Idea-2-3D: 协作的 LMM 机器人实现从交错的多模式输入生成 3D 模型

    通过大型多模型模型以及现有的算法工具，使用 Idea-2-3D 框架自动生成与多模态输入 IDEA 相匹配的 3D 模型，并通过定量对比表明其优于当前方法。

    Apr, 2024

  • AI 低代码开发 AI

    LowCoder 是第一个既支持视觉程序界面又支持自然语言接口的低代码工具，我们通过用户研究发现，LowCoder 特别有用于 AI 操作员的发现性和迭代组合。

    May, 2023