Jul, 2020

探究 BERT 在对话推荐中对书籍、电影和音乐的理解能力

PDF
TL;DR通过探究不同的调查方式，研究表明，预训练的语言模型 BERT 的参数中隐式储存了大量书籍、电影和音乐等相关领域的内容知识，但更多的是基于内容的知识而不是协作式的知识，同时在应对有挑战性的数据时效果不佳。
transformer modelsbertlanguage modelingrecommendation systemsconversational recommendation
发现论文，激发创造
  • BERTnesia: 探究 BERT 中知识的捕捉和遗忘

    这篇文章探讨了 BERT 模型如何从它的参数化内存中获取关系知识，并使用知识库补全任务在 BERT 的每一层中进行了测试。作者发现，中间层对于 BERT 模型中的总知识量贡献了很大的部分，同时发现 fine-tune 时，与训练数据和训练目标有关。而容量和事实密度是学习事实的关键。

    Jun, 2021

  • E-BERT: 电商领域短语和产品知识增强语言模型

    提出了一个名为 E-BERT 的统一的预训练框架，旨在解决 BERT 在 E-commerce 相关任务中无法很好支持两种级别的领域知识的问题，该框架通过自适应混合掩蔽实现了短语级别知识的保留以及通过邻居产品重构实现了利用产品级别知识，研究表明 E-BERT 在评论问答、方面提取、方面情感分类和产品分类等四个下游任务中有着良好的表现。

    Sep, 2020

  • 语言模型作为知识库吗？

    通过对预训练语言模型的深入分析，我们发现未经微调的 BERT 模型竞争传统 NLP 方法的关系知识，可以根据开放式关系进行查询，某些类型的事实知识比标准语言模型预训练方法更容易学习，并可以作为无监督的开放式 QA 系统的潜力展现。

    Sep, 2019

  • RecoBERT：用于基于文本推荐的目录语言模型

    本研究提出了 RecoBERT，一种基于 BERT 的方法，用于学习目录专用的语言模型以实现基于文本的商品推荐，并通过独创的训练和推理过程，在不需要商品相似性标签的情况下评分，以更准确地推断商品之间的文本相似性，并将其应用到葡萄酒和时尚商品推荐任务中。

    Sep, 2020

  • 知识性还是教育性猜测？重新审视语言模型作为知识库

    本文对预训练掩码语言模型（MLMs）在不同抽取范式下的预测机制进行了研究，发现之前的良好表现主要归因于偏见提示和外部环境的贡献。实体类型引导和正确答案泄露是知识预测的改进方向。这些发现揭示了 MLMs 的预测机制，同时质疑了现有 MLMs 可以作为可靠事实知识库的结论。

    Jun, 2021

  • 利用先验知识指导 BERT 在语义文本匹配任务中的注意力

    通过将先前的知识直接注入到 BERT 的注意力机制中，我们提出了一种简单而有效的方法来提高其在语义文本匹配任务中的性能，并在数据稀缺时表现最为显著。

    Feb, 2021

  • 关于在持续预训练中有效地学习知识

    通过定义知识裸露和无知识 token 并对样本进行专业标注，该研究发现 PLMs 在从非结构化文本中获取知识方面存在困难并开发了两种解决方案来帮助模型进行更多的知识自学习，实验证明了这些方法的有效性，是第一次探索做到完全自我监督的知识连续预训练。

    Apr, 2022

  • 探究预训练语言模型的词汇语义

    本研究针对 6 种不同语言和 5 种不同词汇任务，对单语和多语言源 LM、无上下文编码和有上下文编码、特殊标记的包含和分层平均等不同词汇知识提取策略的影响进行了系统的实证分析，并验证了较低变压器层携带更多类型级词汇知识的主张。

    Oct, 2020

  • 从 BERT 中引出关系知识

    该研究使用一种方法从预训练语言模型中提取关系知识，通过使用大量文本语料库，我们提取句子作为模板，并通过微调语言模型来预测一对词是否是某个关系的实例。

    Nov, 2019

  • 使用深度上下文语言模型进行表格搜索

    本文使用预训练的 BERT 模型来处理表格检索任务，研究如何编码表格内容以及如何将其他文献中的特征与 BERT 模型联合训练，实验表明这一方法在公共数据集上表现卓越。

    May, 2020