Apr, 2021

使用对比学习提高 BERT 模型在生物医学关系提取中的表现

PDF
TL;DR本文探索使用对比学习方法提高 BERT 模型的文本表现力，并通过数据增强中的唯一对比预训练步骤来定制化关系提取任务集成语言学知识，研究外部知识库构建的大规模数据如何增强对比预训练的一般性，证明方法可以改进模型表示并实现最先进性能。
发现论文，激发创造
  • 自我引导的对比学习方法用于 BERT 句子表示

    本文提出使用对比学习的方法，通过自我指导来改善 BERT 的句子表示质量，并将其应用于句子表示学习中。实验证明，与竞争对手的基线相比，我们的方法在广泛的句子相关任务上更加有效，并且在推理时效率高且鲁棒性强。

    Jun, 2021

  • 蒸馏模型中的对比学习

    使用 SimCSE 论文中的适用对比学习方法，将基于知识蒸馏模型 DistilBERT 的模型架构进行调整，以解决自然语言处理模型在语义文本相似度上效果不佳且过大无法部署为轻量级边缘应用的问题，最终得到的轻量级模型 DistilFace 在 STS 任务的 Spearmans 相关性上达到了 72.1，相比 BERT Base 提升了 34.2％。

    Jan, 2024

  • 用于定位医学 BERT 和增强生物医学 BERT 的预训练技术

    本研究探讨了如何通过对特定语料库的过采样和使用更大的语料库进行预训练，在医学和其他领域中建立高性能的 BERT 模型以提高自然语言处理中信息提取的性能。

    May, 2020

  • 基于 BERT 的关系抽取的鲁棒性和偏差分析

    通过对 BERT 模型进行关系抽取分析，我们从不同角度研究了微调预训练模型的泛化能力，并探究了不同泛化技术之间的差异，发现 BERT 在随机化、对抗性测试、反事实测试和选择偏见等方面存在瓶颈。我们呈现的测试平台 DiagnoseRE 已在 https://github.com/zjunlp/DiagnoseRE 上开源。

    Sep, 2020

  • 利用实体信息丰富预训练语言模型用于关系分类

    本研究提出了一种模型，结合了预训练的 BERT 语言模型和目标实体信息，来解决关系分类任务。通过定位目标实体和在预训练模型中传递信息，并整合两个实体的相应编码信息，我们在 SemEval-2010 任务 8 关系数据集上取得了显著的改进。

    May, 2019

  • 持续对比微调改善低资源关系提取

    该论文介绍了一个用于解决低资源场景下关系抽取的方法，该方法基于自监督学习和对比学习，以一致的目标进行预训练和微调，在两个数据集上的实验表明，该方法在使用 1% 的数据时，较基于 PLM 的分类器分别提高了 10.5％和 5.8％的性能水平。

    Dec, 2022

  • 远程监督下基于加权对比预训练的关系抽取

    本研究提出了一种加权对比学习方法，利用有监督数据估计预训练实例的可靠性并明确减少噪声效应，实验证明相对于两种最新的非加权基线，我们的加权对比学习方法在三个监督数据集上有明显的优势。

    May, 2022

  • 从 BERT 中引出关系知识

    该研究使用一种方法从预训练语言模型中提取关系知识，通过使用大量文本语料库，我们提取句子作为模板，并通过微调语言模型来预测一对词是否是某个关系的实例。

    Nov, 2019

  • 通过对比学习提高预训练语言模型对实体和关系理解的能力 - ERICA

    该论文提出了一种对文本中的实体和关系进行深入理解的新型对比学习框架 ERICA，可显著提高预训练语言模型在低资源环境下的关系提取，实体类型和问题回答等多个语言理解任务的性能表现。

    Dec, 2020

  • 可微分数据增强用于对比句子表示学习

    本文提出了一种基于对比学习框架的预训练语言模型微调方法，通过硬样本挖掘和使用不同 iable 的数据扩增技术，达到了在无标记或有标记数据上提高句子表示质量的目的。实验证明，该方法在半监督和监督学习设置下都优于现有对比学习方法，并且对标注数据更加高效。

    Oct, 2022