Oct, 2023

URL-BERT：通过社交媒体参与训练网页表示

PDF
TL;DR通过引入新的预训练目标，我们提出了一个框架来适应通用语言模型（LM）编码器以理解和表示网页的内容，并在多项任务和 Twitter 内外部基准测试中证明了该方法的有效性。
webpagesurlslanguage model encoderspre-training objectivewebpage understanding
发现论文，激发创造
  • URLBERT: URL 分类的对比和对抗预训练模型

    通过在大量 URL 文本上进行预训练，URLBERT 模型能够在各类 URL 分类或检测任务中取得最先进的性能，并且能处理复杂任务要求，同时提供了多任务学习的探索。

    Feb, 2024

  • LinkBERT: 利用文档链接对语言模型进行预训练

    本研究提出了一种基于链接文档的 LM 预训练方法 LinkBERT，利用文档之间的超链接链接构建了文本语料库的图形，并通过预训练实现了关系预测和蒙面语言建模两个联合自监督目标，其在多跳推理和少样本 QA 方面特别有效，同时在 BioNLP 任务上表现出新的最高水平。

    Mar, 2022

  • 图增强 BERT 用于查询理解

    本文介绍了如何利用搜索日志构建查询图和使用 GE-BERT 框架来同时捕获查询的语义信息和用户搜索行为信息，以改进查询理解任务。

    Apr, 2022

  • 通过表示学习实现表格理解

    本文提出了 TURL 框架，该框架利用预训练 / 微调方法，在无监督的情况下学习关系表的深度上下文化表示，并应用于各种任务中。通过结构感知的 Transformer 编码器建模关系表的行列结构，并引入了一种新的 Masked Entity Recovery 目标进行预训练。在 6 个不同的关系表理解任务中，TURL 广泛适用且相对于现有方法具有更好的表现。

    Jun, 2020

  • 预训练通用语言表示

    本研究提出了一个通用的语言表示学习方法 MiSAD，通过利用大型未标记语料库中提取的有意义的 n-gram，实现对不同层次语言单位或具有相当不同长度的文本的嵌入形式，从而使手头的多个语言层次的信息能够更好地统一处理，并且在 GLUE 基准和问答数据集上显著提高了下游任务的性能以及在不同语言层次上实现了最高准确率。

    May, 2021

  • 基于 URL 嵌入的展示广告转化预测

    本研究介绍了不同的模型来预测用户转化的概率，其中包括三个 URL 嵌入模型和转化预测模型，并通过实验数据证明了其有效性。

    Aug, 2020

  • 大型语言模型是内置自回归搜索引擎

    这篇论文旨在研究大型语言模型的文档检索能力。实验表明，通过提供少量上下文演示，大模型可以直接生成正确答案的网址，相比于目前的检索方法在开放领域问答中表现更佳。

    May, 2023

  • 语言模型是通用嵌入器

    大语言模型（LLM）革命中，嵌入是各种系统的关键组成部分。在本文中，我们迈出了迈向构建强大统一的嵌入模型的第一步，证明了多种语言（自然语言和编程语言）的预训练变换器解码器在有限英文数据微调后能够实现普遍嵌入。我们对各任务进行了全面实践和彻底评估，结果表明这是一条有希望的道路，可以应用于不同任务和语言。

    Oct, 2023

  • 利用互联网优化大型语言模型

    本文提出一种利用搜索引擎对大型语言模型进行网络增强的方法，通过自适应搜索引擎辅助学习和基于重要区间预测的连续知识学习任务，使模型在各种知识密集型任务中的性能表现显著优于基于检索的增强方法。

    May, 2023

  • 信息检索的预训练：超链接是否完全被开发？

    本文提出了一种基于超链接进行预训练的方法，并将其应用于信息检索（IR）任务中，实验结果表明此方法在大规模的 IR 和问答数据集上具有优越性。

    Sep, 2022