使用 Mind2Web 数据集，作者构建了能够利用大型语言模型（LLMs）构建通用 Web 代理的解决方案，该方案使用实际网站而非模拟网站，并提供广泛的用户交互图案。

Jun, 2023

通过在复杂环境中使用 WebArena 基准测试，我们探索了大语言模型在长期任务中作为代理人自我提升性能的程度，通过自我改进的方式，在三种不同的合成训练数据混合情况下，我们实现了在 WebArena 基准测试中任务完成率的 31％提高，并额外提供了用于评估我们精调代理模型的性能、鲁棒性、功能和轨迹质量的新型评价指标。

May, 2024

该研究提出了一种将监督学习和强化学习技术相结合的新方法，通过在 MiniWoB 基准上利用两种方法的优势，解决了先前模型对 HTML 内容的理解上的关键限制，并展示了优于先前监督学习方法的实验结果，同时在与多模式强化学习方法相结合时缩小了与强化学习模型之间的性能差距，从而为未来的网络导航提供了新的方向和对语言建模在计算机任务中的潜力的洞察。

May, 2024

AutoWebGLM 是一个建立在 ChatGLM3-6B 基础上的自动化网页导航智能体，它通过采用 HTML 简化算法来表示网页并利用混合人工智能方法构建网页浏览数据，再结合强化学习和拒绝抽样来提高网页理解、浏览器操作和任务分解的效率，在真实环境中提出了改进的同时也面临挑战。

Apr, 2024

本文提出了一种基于视觉 - 语言模型的指令驱动表征，通过离线培训方式对 WebGUM 模型进行了训练，使其在视觉感知、HTML 理解和多步推理能力上表现出色，相比现有最佳方法提高了 31.9％以上。

May, 2023

我们提出了会话式网络导航的问题，其中数字代理控制网络浏览器，并遵循用户的指令以多轮对话的方式解决现实任务。为了支持这个问题，我们介绍了 WEBLINX - 一个包括多个领域的 100K 个交互和 2300 个专家演示的大规模基准。我们的基准涵盖了 150 多个真实网站上的各种模式，并可用于在不同场景中训练和评估代理。由于存在大量信息，大型语言模型（LLM）无法实时处理整个网页。为了解决这个瓶颈，我们设计了一种受检索启发的模型，通过对相关元素进行排序来高效修剪 HTML 页面。我们使用所选元素、屏幕截图和操作历史来评估各种模型在导航网页时模拟人类行为的能力。我们的实验从纯文本到专有的多模式 LLM 都有涉及。我们发现，较小的微调解码器超过了最好的零 - shot LLMs（包括 GPT-4V），但也超过了明确在屏幕截图上进行预训练的较大微调多模式模型。然而，所有微调模型都难以泛化到未见过的网站。我们的发现强调了需要能够泛化到新颖设置的大型多模式模型。

Feb, 2024

本文介绍了一种名为 Conversational Web Navigation 的新任务，通过使用名为 Multi-Turn Mind2Web (MT-Mind2Web) 的特殊数据集，提出了一种名为 self-reflective memory-augmented planning (Self-MAP) 的新框架，通过利用记忆利用和自我反思技术，在现实世界的场景中有效地与连续的用户指令进行复杂的交互。

Feb, 2024

LMA 在基本任务上的表现优于人类和强化学习代理，但在涉及任务组合的实际应用中，它们的性能仍未得到充分探索。通过引入新的基准 CompWoB，我们展示了从基本任务到组合任务的 LMA 表现下降，而在训练过程中平衡任务数据分布后，我们设计了一个新模型 HTML-T5++，在 MiniWoB 上超过人类水平并在 CompWoB 上取得了最佳零样本性能。然而，在改变组合顺序的不同指令组合下，它们的性能进一步下降。与 LMA 的最新成功相反，我们的基准和详细分析突出了构建对真实世界部署具有稳健性和可泛化性的 LMA 的必要性。

Nov, 2023

我们提出了一种推理时间搜索算法，用于在交互式网络环境中使语言模型代理能够进行探索和多步规划，实验证明搜索对于网络代理的有效性，并且在测试时间计算方面的性能随着增加而提高。

Jul, 2024

建立一个高度逼真和可重现的环境，专注于在网站上执行任务的智能代理，提供一组多样化、长期规划、模拟人类在互联网上例行执行的任务的基准任务以评估任务完成的功能正确性。

Jul, 2023