Feb, 2024

UFO：面向 Windows OS 交互的用户界面代理

PDF
TL;DR我们介绍了一种创新的 UI-Focused 代理 UFO，它可以根据 Windows 操作系统上的应用程序满足用户定制请求，利用 GPT-Vision 的能力。UFO 采用双代理框架，精确观察和分析 Windows 应用程序的图形用户界面（GUI）和控制信息，使代理能够在单个应用程序内部和跨应用程序进行无缝导航和操作，以满足用户请求，即使涵盖多个应用程序。该框架包含一个控制交互模块，无需人工干预即可促进行动接地，实现完全自动化执行。因此，UFO 将繁琐和耗时的过程转化为仅通过自然语言命令即可完成的简单任务。我们在 9 个广受欢迎的 Windows 应用程序上对 UFO 进行了测试，涵盖了用户日常使用的各种场景。通过定量指标和实际案例研究得出的结果，突显出 UFO 在满足用户请求方面的卓越效果。据我们所知，UFO 是第一个专门为 Windows 操作系统环境中的任务完成而量身定制的 UI 代理。UFO 的开源代码可在此 https URL 上获取。
发现论文，激发创造
  • UFO：统一特征优化

    该论文提出了一种新的统一特征优化（UFO）模型，结合多任务学习、网络架构搜索等方法，极大方便模型的灵活部署，在保持大规模预训练精度的基础上，实现了模型体积缩小和预测精度提高。

    Jul, 2022

  • UFO: 通用常识问答的统一事实获取

    通过 Unified Facts Obtaining (UFO) 方法使用大规模语言模型，获取事实并在各种常识问答方面进行推理，从而在各基准测试中显着提高推理模型的性能。

    May, 2023

  • UFO: 一个用于评估大型语言模型事实性的统一灵活框架

    大语言模型（LLMs）可能生成与人类知识不一致的文本，导致事实错误或产生虚构。为解决这些问题，本研究将可用的事实来源分类为人工书写证据、参考文献、搜索引擎结果和 LLM 知识，并提出了一种名为 UFO 的基于 LLM 的统一灵活评估框架，以验证事实。实验结果表明，在大多数问题回答任务中，人工书写证据和参考文献至关重要，并且在基于检索的问题回答任务中可以相互替代。在新闻事实生成任务中，搜索引擎结果和 LLM 知识至关重要。

    Feb, 2024

  • UINav：UI 自动化代理的制造者

    提出了一种名为 UINav 的演示式代理系统，能够以简单手势为主的任务演示实现高成功率，并在保持较轻量级的同时可在移动设备上运行，通过采用裁判模型、宏操作和增加训练数据的方式，最小化任务演示次数，对于每个任务平均 10 次演示，UINav 能够达到 70% 以上的准确率，并在足够多演示的情况下实现 40 个以上不同任务的几乎完美成功率。

    Dec, 2023

  • UFO: 三维点云中的未知前景物体检测

    提出了一个针对 3D 点云中未知前景对象（UFO）检测的新问题，该问题是野外自动驾驶中至关重要的技术。通过建立一个包括评估协议、方法论和基准的新的 UFO 检测框架，解决了现有 3D 对象检测器在 3D 定位和超出分布（OOD）检测方面遇到的极大挑战。该框架在 KITTI Misc 基准和额外合成基准上通过四个基线检测器（SECOND、PointPillars、PV-RCNN、PartA2）跨越性能提升了一个较大的幅度，并为未来的野外 UFO 检测工作提供了新的见解。

    Jan, 2024

  • UFO: 一种用于视觉和语言表示学习的统一 Transformer

    本论文提出了一种统一的变换器（UFO），以处理单模态或多模态输入，进行视觉 - 语言表示学习。 我们使用单个变压器网络并在 VL 预训练期间强制进行多任务学习，包括基于双向和 seq2seq 注意掩码的图像文本对比损失，图像文本匹配损失和遮蔽语言建模损失。 我们在诸如视觉问答，COCO 图像字幕（交叉熵优化）和 nocaps（在 SPICE 中）之类的其他下游任务中，实现了新的技术水平。

    Nov, 2021

  • UFO$^2$: 统一框架实现全监督物体检测

    本文提出了一种名为 UFO$^2$ 的统一目标检测框架，可以同时处理不同形式的监督学习，包括强监督（如 bounding boxes）和各种形式的部分监督学习（如类别标签、点、涂鸦）和未标记数据。作者通过严格的评估表明，每种形式的标签可以用于从头开始训练模型或进一步改善预训练模型，同时在固定的注释预算下研究各种注释策略，在不需要强标签的情况下可以实现有竞争力的性能。最后，作者还证明了 UFO$^2$ 的泛化能力，可以检测超过 1,000 种不同的物体，而无需 bounding box 标注。

    Oct, 2020

  • 无约束前景目标搜索

    本文提出了一种解决图像编辑中寻找前景对象的技术 —— 无约束前景物体搜索，并介绍了一种支持通过将背景图像与前景对象进行编码来进行高效搜索的解决方案。通过创建具有不同语义类别的多个前景对象的大型训练数据集，我们的无约束前景物体搜索解决方案优于相关基线，这在两个不同的数据集上进行了定量和人类感知实验的证实。

    Aug, 2019

  • 你只看屏幕：多模态行动训练智能体

    自主用户界面 (UI) 代理旨在通过与用户界面的自动交互来促进任务自动化。为了对齐于大型语言模型 (LLMs) 的输入 - 输出需求，现有方法在沙盒环境下开发，依赖外部工具和应用特定的 API 将环境解析为文本元素并解释预测的动作。为了减轻这些挑战，我们引入了 Auto-UI，这是一个多模态的解决方案，直接与界面交互，无需环境解析或依赖应用程序相关的 API。此外，我们提出了一种链式动作技术 —— 利用一系列中间的先前动作历史和未来动作计划 —— 以帮助代理决定执行什么动作。我们在一个新的设备控制基准 AITW 上评估了我们的方法，该基准包含 30K 个独特的指令，涵盖应用操作、网络搜索和网购等多步任务。实验结果显示，Auto-UI 实现了 90% 的动作类型预测准确率和 74% 的整体动作成功率。

    Sep, 2023

  • OS-Copilot：面向具有自我改进能力的通才计算机代理

    介绍了 OS-Copilot 框架，用于构建能够与操作系统中包括网络、代码终端、文件、多媒体和各种第三方应用程序在内的综合元素进行交互的通用型代理，并使用该框架创建了自我完善的具体化代理 FRIDAY，以自动化进行一般的计算机任务，在通用人工智能助理基准测试 GAIA 上，FRIDAY 通过积累来自以前任务的技能，表现出对未见过应用程序的强大泛化能力，超越了以前的方法 35％，同时提供了对 Excel 和 Powerpoint 进行控制和自我改进的数量和定量证据，该研究为未来更高能力和通用性的计算机代理提供了基础和见解。

    Feb, 2024