Sep, 2020

SemEval-2020 任务 10 中 ERNIE：使用预训练语言模型学习词汇强调选择

PDF
TL;DRERNIE 团队在 SemEval-2020 的任务 10 中取得第一名，提出了一种利用无监督预训练模型并在任务中进行微调的方法来寻找给定句子中最重要的单词，并证明这种方法可以通过额外的特征工程和数据增强来提高表现。最终他们的模型取得了 0.823 的最高分，在所有指标上位居第一。
ernie teamsemeval-2020emphasis selectionunsupervised pre-trainingautomated design
发现论文，激发创造
  • SemEval-2020 任务 10：视觉媒体中书面文本的重点选择

    本文总结了 SemEval-2020 任务 10 的主要结果，该任务旨在设计自动化方法选择文本内容中的强调元素，并发现 BERT 是参与者常用的预训练模型之一。

    Aug, 2020

  • IITK 参加 SemEval-2020 任务 10：变形金刚用于强调选取

    本文介绍了一种用于解决 SemEval-2020 任务 10 中提出的问题的系统：如何强调视觉媒体中的书面文本。我们提出了一种端到端模型，它以文本为输入，并对每个单词给出该单词被强调的概率。我们的结果表明，基于 Transformer 的模型在这个任务中特别有效。我们取得了 0.810 的最佳 Matchm 得分，并在排行榜上排名第三。

    Jul, 2020

  • ERNIE 2.0：面向语言理解的持续预训练框架

    提出一种名为 ERNIE 2.0 的持续预训练框架，通过不断的多任务学习构建和学习预训练任务，以从训练语料库中提取词汇、句法和语义信息。实验结果表明，在包括 GLUE 基准测试中的 16 个任务（包括英文任务和中文中的几个常见任务）中，ERNIE 2.0 的表现优于 BERT 和 XLNet。已经在 https://github.com/PaddlePaddle/ERNIE 发布了源代码和预训练模型。

    Jul, 2019

  • 百度搜索中用于 Web 规模检索的预训练语言模型

    本文描述了一种使用最新的中文预训练语言模型 ERNIE 开发和部署检索系统的方法，并通过离线和在线实验表明该系统性能良好，特别是对于那些查询需求不常见的查询，该检索系统可以大大提高搜索引擎的易用性和适用性。

    Jun, 2021

  • ERNIE 3.0：大规模知识增强的语言理解与生成预训练

    提出了一种统一的框架 ERNIE 3.0，用于预训练大规模知识增强模型，利用自回归网络和自编码网络相结合的方法来让训练好的模型适用于自然语言理解和生成任务，结果表明，该模型在 54 个中文 NLP 任务上优于现有技术，英文版本超越人类表现 + 0.8%。

    Jul, 2021

  • ERNIE 3.0 Titan：探索基于知识增强的大规模预训练技术在语言理解和生成方面的应用

    该研究提出了 ERNIE 3.0 Titan 模型，它是目前最大的中文密集预训练模型，其使用预训练语言模型取得了在 68 个自然语言处理任务上的最佳性能。

    Dec, 2021

  • 通过单语语料库对跨语言语义进行对齐，增强多语言表示能力的 ERNIE-M 模型

    本研究提出了 ERNIE-M 模型，采用反向翻译技术产生伪平行语料，从而增强跨语言模型的语义建模能力，并经过实验证明，相对现有跨语言模型，ERNIE-M 能够更好地适用于跨语言任务。

    Dec, 2020

  • ERNIE: 知识融合增强的表示学习

    ERNIE 是一种新颖的语言表示模型，通过知识集成增强，它设计了基于实体级屏蔽和短语级屏蔽的屏蔽策略，实验结果证明，ERNIE 在自然语言推理、语义相似性、命名实体识别、情感分析和问答等五个中文自然语言处理任务上均取得了新的最佳表现。

    Apr, 2019

  • ERNIE-Gram: 显式 N-Gram Masked 语言模型的预训练用于自然语言理解

    该论文提出 ERNIE-Gram，一种显式 n-gram 屏蔽方法，可以将粗粒度的语言信息有效地融入预训练中，通过在 19 个后续任务上的实验结果表明，ERNIE-Gram 可以大幅优于先前的预训练模型，也可以与最先进的方法相媲美。

    Oct, 2020

  • ERNIE-Layout：基于排版知识增强的视觉化文档理解预训练

    提出了 ERINIE-Layout，一种新颖的以布局知识增强的文档预训练解决方案，通过整个工作流程来学习将文本、布局和图像特征结合起来的更好表现，以及如何在文档中学习适当的阅读顺序。实验结果表明，ERNIE-Layout 在各种下游任务上取得了卓越的性能，成为关键信息提取、文档图像分类和文档问答数据集的新的最先进技术，且代码和模型公开。

    Oct, 2022