Sep, 2020

E-BERT: 电商领域短语和产品知识增强语言模型

PDF
TL;DR提出了一个名为 E-BERT 的统一的预训练框架，旨在解决 BERT 在 E-commerce 相关任务中无法很好支持两种级别的领域知识的问题，该框架通过自适应混合掩蔽实现了短语级别知识的保留以及通过邻居产品重构实现了利用产品级别知识，研究表明 E-BERT 在评论问答、方面提取、方面情感分类和产品分类等四个下游任务中有着良好的表现。
pre-trained language modelsberte-commerceadaptive hybrid maskingneighbor product reconstruction
发现论文，激发创造
  • K-PLUG：用于电子商务自然语言理解和生成的知识注入预训练语言模型

    本研究提出了一种基于 encoder-decoder transformer 的知识注入预训练语言模型 K-PLUG，利用五种知识感知的自我监督预训练目标，包括电子商务领域特定知识库、产品实体的方面、产品实体的类别和产品实体的独特卖点，有效地为语言理解和生成任务学习了各种领域特定知识，并在包括产品知识库完成、摘要产品总结和多次对话等领域特定 NLP 任务中达到了新的最佳性能。

    Apr, 2021

  • K-BERT：利用知识图谱实现语言表示

    提出了一种基于知识图谱的语言表示模型（K-BERT），可以将领域特定的知识注入到模型中，以用于解决需要专家知识的领域特定问题，实验证明其在 12 个 NLP 任务中有很好的表现。

    Sep, 2019

  • Phrase-BERT：基于 BERT 的短语嵌入改进及应用于语料库探索

    本文提出了一种对 BERT 进行微调的方法（Phrase-BERT），使其能够生成更强大的短语嵌入，Phrase-BERT 利用一个由短语描述形式多样的同义词集以及从 Books3 语料库中挖掘的大规模情境短语数据集生成模型，并在各种短语级相似性任务中优于基线。 此外，该文还将 Phrase-BERT 嵌入式与简单的自编码器相结合，构建了一种利用向量空间中最近邻搜索将主题解释为词和短语混合的短语主题模型。 众包评估表明，该短语主题模型比基线的单词和短语级主题模型产生更一致和有意义的主题，进一步验证了 Phrase-BERT 的效用。

    Sep, 2021

  • BERT Goes Shopping: 对产品表示的分布式模型的比较

    通过 masked session 建模的方式，将基于 BERT 的模型 Prod2BERT 迁移到电子商务，与 Prod2vec 进行对比实验并得出结论，提供在各种计算和数据限制下培训嵌入的准则。

    Dec, 2020

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • 探究 BERT 在对话推荐中对书籍、电影和音乐的理解能力

    通过探究不同的调查方式，研究表明，预训练的语言模型 BERT 的参数中隐式储存了大量书籍、电影和音乐等相关领域的内容知识，但更多的是基于内容的知识而不是协作式的知识，同时在应对有挑战性的数据时效果不佳。

    Jul, 2020

  • 使用深度上下文语言模型进行表格搜索

    本文使用预训练的 BERT 模型来处理表格检索任务，研究如何编码表格内容以及如何将其他文献中的特征与 BERT 模型联合训练，实验表明这一方法在公共数据集上表现卓越。

    May, 2020

  • 面向实体搜索的实体感知 Transformer

    本篇文章研究使用知识图谱中的实体信息是否有助于基于 BERT 的实体检索模型，结果表明使用实体信息的 BERT 模型在复杂自然语言查询和属性筛选等实体相关查询任务中相比传统 BERT 模型具有更好的推荐效果，并且使用该模型可以在数据不足的情况下进行微调以实现对实体搜索的数据有效训练。

    May, 2022

  • BERT 词汇扩展与知识库构建

    知识库搭建从预训练语言模型开始，提出了一种扩展语言模型词汇量的方法，实现了多词汇实体的直接嵌入，这在知识图谱的链接预测任务和数据管理中的元数据完成方面迈出了重要的一步。

    Oct, 2023

  • 知识图谱融合用于语言模型微调

    探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

    Jun, 2022