ACLMar, 2022

LinkBERT: 利用文档链接对语言模型进行预训练

PDF
TL;DR本研究提出了一种基于链接文档的 LM 预训练方法 LinkBERT，利用文档之间的超链接链接构建了文本语料库的图形，并通过预训练实现了关系预测和蒙面语言建模两个联合自监督目标，其在多跳推理和少样本 QA 方面特别有效，同时在 BioNLP 任务上表现出新的最高水平。
language model pretraininglinkbertlm inputsdocument relation predictionmulti-hop reasoning
发现论文，激发创造
  • 信息检索的预训练：超链接是否完全被开发？

    本文提出了一种基于超链接进行预训练的方法，并将其应用于信息检索（IR）任务中，实验结果表明此方法在大规模的 IR 和问答数据集上具有优越性。

    Sep, 2022

  • 基于三元注意力预训练的生物医学实体链接

    将基因组学实体链接到自然语言处理任务中，提出了一种使用知识图谱信息预训练生成式大型语言模型的新框架。

    Aug, 2023

  • BioBERT：用于生物医学文本挖掘的预训练生物医学语言表示模型

    本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。

    Jan, 2019

  • ImageBERT：利用大规模弱监督图像 - 文本数据的跨模态预训练

    本文提出了一种新的视觉 - 语言预训练模型 ——ImageBERT，用于图像 - 文本联合嵌入，该模型基于 Transformer，可以将不同的模态作为输入，并建模它们之间的关系。通过多阶段的预训练策略，可以提高预训练质量，最终在图像检索和文本检索任务上获得了新的最先进结果。

    Jan, 2020

  • Bi-Link：通过对 Transformer 和提示进行对比学习，连接文本中的归纳链接预测

    本文提出了一种叫做 Bi-Link 的对比学习框架，利用 BERT 的语法知识进行有效的搜索来进行关系预测，并设计了对称的关系预测模型，并在链接预测数据集（WN18RR、FB15K-237 和 Wikidata5M）上优于最近的基准线。

    Oct, 2022

  • LinkGPT: 教授大型语言模型预测丢失链接

    本研究提出了 LinkGPT，首个用于链接预测任务的端到端训练的大型语言模型 (LLM)，通过有效整合结构信息和解决效率问题，在真实世界的图和零样本学习中取得了领先水平的性能。

    Jun, 2024

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • BIOptimus：使用课程学习预训练最佳生物医学语言模型于命名实体识别

    本研究通过比较不同的预训练方法，包括从头开始预训练生物医学语言模型和在连续环境中预训练模型，并利用 BERT 模型内上下文中的现有权重提炼初始化新标记的权重，加快预训练阶段并提高命名实体识别性能；此外，我们还比较了掩码率、损坏策略和掩码策略对生物医学语言模型性能的影响；最终，我们通过课程学习和上下文化权重提炼方法提出了一种新的生物医学语言模型 (BIOptimus)，在多项生物医学命名实体识别任务中创造了新的技术水平

    Aug, 2023

  • 针对生物医学自然语言处理的领域特定语言模型预训练

    本文通过编制全面的生物医学 NLP 基准测试集，证明了在丰富的未标记文本的领域中，从头开始针对特定领域的预训练语言模型相对于持续预训练通用领域语言模型，能够显著提高生物医学 NLP 任务的效果，并发现一些常用做法不必要。我们为社区发布了我们的最新预训练和任务特定模型，并创建了一个包含我们的 BLURB 基准测试的排行榜。

    Jul, 2020

  • URL-BERT：通过社交媒体参与训练网页表示

    通过引入新的预训练目标，我们提出了一个框架来适应通用语言模型（LM）编码器以理解和表示网页的内容，并在多项任务和 Twitter 内外部基准测试中证明了该方法的有效性。

    Oct, 2023