使用大型语言模型理解 HTML

Oct, 2022

Understanding HTML with Large Language Models

Izzeddin Gur, Ofir Nachum, Yingjie Miao, Mustafa Safdari, Austin Huang...

TL;DR通过 fine-tuned LLMs 调整，研究 HTML 理解（元素语义分类，输入描述生成和自主网页导航）任务。 T5-based models 表现最佳，提出一个来自 CommonCrawl 的大规模 HTML 数据集。

Abstract

Large language models (LLMs) have shown exceptional performance on a variety of natural language tasks. Yet, their capabilities for html understanding -- i.e., parsing the raw HTML of a webpage, with applications to automation of web-based tasks, crawling, and browser-assisted retrieva

html understanding fine-tuned llms semantic classification autonomous web navigation t5-based models

发现论文，激发创造

使用 LLMs 从 Web 界面检索信息的机会与挑战

大型语言模型（LLM）在训练时使用了大量的代码，表现出了对 HTML 代码的卓越理解能力。因为 Web 界面主要使用 HTML 构建，所以我们进行了深入研究，探讨 LLM 如何用于在 Web 界面中检索和定位用户查询（即任务描述）的重要元素。与以往主要侧重于自主 Web 导航的研究不同，我们将问题分解为一个更为原子化的操作 - LLM 能否识别 Web 页面中对用户查询重要的信息？这种分解使我们能够审视 LLM 的当前能力并揭示其所带来的机遇和挑战。我们的实证实验证明，虽然 LLM 在检索重要的用户界面元素方面表现出了合理的性能水平，但仍然有很大的改进空间。我们希望我们的研究能够激发在这一领域克服当前挑战的后续工作。

Dec, 2023

利用大型语言模型进行网络抓取

使用已经训练好的大型语言模型与 RAG 模型结合，研究了一种通用准确的数据抓取方法，该方法能够从非结构化文本中提取复杂数据。未来的研究方向包括解决溯源追踪和动态知识更新等挑战，在提取数据的方法和框架方面潜力巨大。

Jun, 2024

DOM-LM: 为 HTML 文档学习通用表示

本文提出了一种用于网页的新颖表示学习方法，称为 DOM-LM，以编码文本和 DOM 树结构，并通过自监督预训练学习 HTML 文档的可推广表示，实现了 Attribute Extraction，Open Information Extraction 和 Question Answering 等多种网页理解任务，并在少量标记数据和无标记数据的情况下表现出更好的泛化性能，适用于有限标记数据的实际应用环境。

Jan, 2022

HTLM: 语言模型超文本预训练和提示

介绍了一种基于 HTML 训练的超文本语言模型 HTLM，使用 BART-style denoising loss 在简化 HTML 上进行预训练可对广泛端任务和监督级别提供高效的迁移，同时比纯文本模型表现更好，能够自动完成大部分的超文本格式转换，且零样本摘要效果最佳。

Jul, 2021

利用互联网优化大型语言模型

本文提出一种利用搜索引擎对大型语言模型进行网络增强的方法，通过自适应搜索引擎辅助学习和基于重要区间预测的连续知识学习任务，使模型在各种知识密集型任务中的性能表现显著优于基于检索的增强方法。

May, 2023

探索大型语言模型用于代码解释

使用各种大型语言模型自动生成代码片段的自然语言摘要，研究结果表明，代码语言模型优于其通用模型，而零 - shot 方法在训练集和测试集之间分布不同的数据集上取得了更好的结果。

Oct, 2023

基于大型语言模型的神经语义解析器的说明（学生摘要）

本研究探讨了解释大型语言模型在语义解析中成功的不同方法以及解释后的模型行为，并期望能激发未来研究更好地理解它们。

Jan, 2023

通过问答探究语言模型对结构化语义理解和生成的能力

最近大规模语言模型能力的进步引发了对其评估的新浪潮，这篇研究工作通过在自然语言和形式语言之间的相互转换来验证大规模语言模型理解和生成结构化逻辑形式的能力，实验证明现今最先进的大规模语言模型在理解逻辑形式方面整体上接近人类水平，但在生成正确逻辑形式方面仍有改进的空间，使用大规模语言模型生成更自然的语言训练数据以增强小型模型的效果更好，同时结果还表明模型对不同形式语言表现出显著的敏感性，总体而言，形式化程度较低、更接近自然语言的形式语言对大规模语言模型更友好。

Jan, 2024

大型语言模型能够在网络代理任务上进行自我改进

通过在复杂环境中使用 WebArena 基准测试，我们探索了大语言模型在长期任务中作为代理人自我提升性能的程度，通过自我改进的方式，在三种不同的合成训练数据混合情况下，我们实现了在 WebArena 基准测试中任务完成率的 31％提高，并额外提供了用于评估我们精调代理模型的性能、鲁棒性、功能和轨迹质量的新型评价指标。

May, 2024

大型语言模型是否能理解常见词汇的不常见含义？

通过创新构建一个包含细粒度和跨语言维度的词汇语义理解数据集，本研究揭示了大语言模型在基本词汇意义理解任务上的性能不佳，甚至落后于 16 岁的人类 3.9% 和 22.3% 分别。这突显了其关键不足，并激发了进一步研究和开发更智能的大语言模型的新见解。

May, 2024