BERT 是否理解情感？利用上下文和非上下文嵌入之间的比较来改善基于方面的情感模型

Nov, 2020

BERT 是否理解情感？利用上下文和非上下文嵌入之间的比较来改善基于方面的情感模型

Does BERT Understand Sentiment? Leveraging Comparisons Between Contextual and Non-Contextual Embeddings to Improve Aspect-Based Sentiment Models

PDF

Natesh Reddy, Pranaydeep Singh, Muktabh Mayank Srivastava

TL;DR本文旨在回答是否预训练的语言模型（如 BERT）是否可以自动编码每个单词的情感信息以及是否可以用于推断不同方面的极性，通过展示比较 BERT 和通用单词嵌入的上下文嵌入的训练，我们可以利用其推断情感，并且我们表明，如果我们微调用于 BERT 和通用单词嵌入比较构建的模型的子集权重，可以在基于方面的情感分类数据集中获得最新功能的极性检测。

Abstract

When performing polarity detection for different words in a sentence, we need to look at the words around to understand the sentiment. Massively pretrained language models like bert can encode not only just the w

polarity detection massively pretrained language models bert contextual embedding aspect based sentiment classification

发现论文，激发创造

利用 BERT 进行端到端方面情感分析

本文探讨了预训练语言模型中上下文化嵌入的建模能力，并使用简单明了的神经基线处理端到端方面的情感分析任务。实验结果表明，即使使用简单的线性分类层，我们基于 BERT 的架构的性能也能超过最新的方法。此外，我们还使用保留验证数据集来标准化比较研究，这是之前的工作往往忽略的，因此，我们的工作可以作为 E2E-ABSA 的 BERT 基准。

Oct, 2019

基于 Bert 的上下文对词相似度影响的精准预测模型

本文主要探讨了一种分析语境对相似词人类感知影响的方法，使用多种方式计算 BERT 生成的双向编码器表示法的两个嵌入向量之间的距离，研究组在 SemEval 2020 的任务三中赢得了芬兰语语言赛道的第一名和英语语言赛道的第二名。

May, 2020

基于有监督对比预训练学习因果隐含情感的方面情感分析

采用超级对比预训练的方法，利用语言资源中的大规模情感注释语料库，对于产品评论中蕴含的明示和隐含情感表达进行预测，大幅提高对于细节方面表达情感的识别率，这种方法不仅在论文中实验证明了其有效性，还在 SemEval2014 基准测试集上取得了最好的表现。

Nov, 2021

理解基于预训练 BERT 的方面情感分析

本文分析了 BERT 上预先训练的隐藏表示，用于方面为基础的情感分析（ABSA）任务。作者发现，BERT 使用非常少的自我关注头来编码上下文单词和方面的意见词。大多数方面的表示特征都专注于领域（或产品类别）和方面本身的细粒度语义，而不是携带其上下文中的总结性观点。

Oct, 2020

HistBERT：用于历时词汇语义分析的预训练语言模型

研究历史语料库数据对语言模型 BERT 训练的影响，从而提出一种预先训练的基于 HistBERT 的语言模型，并比较它与原始 BERT 在单词相似度和语义转化分析方面的表现，该工作强调，上下文语言嵌入在历史语言分析中的效果取决于输入文本的时态特征，并应谨慎应用此方法来研究历史语义变化。

Feb, 2022

使用上下文和非上下文表示的序列标注：一项多语言评估

本文对多语种命名实体识别和词性标注任务中预训练的 BERT、BPEmb 和 FastText 非上下文子词嵌入进行系统性评估，发现对于跨语言和任务而言，BERT、BPEmb 和字符表示的组合效果最佳，但在资源匮乏的情况下，非上下文子词嵌入的表现更加优秀。

Jun, 2019

BERT 作为一个分布式语义模型的评估

本文研究了语境化单词嵌入，并集中讨论了 BERT 这一深度神经网络，该网络产生了语境化的单词嵌入并在多个语义任务中创下了最好的记录，并研究了其嵌入空间的语义一致性。该文章表明，BERT 具有一定的语义一致性，但并未完全符合语义向量空间的自然期望，尤其是发现单词出现在的句子位置虽然不具含义，但在单词嵌入中留下了明显的痕迹，破坏了相似性关系。

Nov, 2019

BERTTM：利用预训练语言模型的上下文化单词嵌入来进行神经主题建模

本研究开发了一种新型的神经主题模型，结合了来自预先训练的语言模型 BERT 的上下文化单词嵌入，无需使用任何词袋信息即可推断文档的主题分布，实验表明该模型在文档分类和主题连贯度指标方面优于现有主题模型，并可处理来自新到达文档的未见单词。

May, 2023

BERT、mBERT 还是 BiBERT？关于上下文化嵌入用于神经机器翻译的研究

本研究通过将定制和合适的双语预训练语言模型（称为 BiBERT）的输出（上下文嵌入）作为神经机器翻译编码器的输入，展示了实现最先进的翻译性能的方法，并提出了一种随机层选择方法和双向翻译模型的概念，以确保充分利用上下文嵌入。

Sep, 2021

关于预训练语言模型中句子嵌入的研究

本篇论文提出通过使 BERT 句子嵌入分布变换成平滑和各向同性的高斯分布，从而提高 BERT 在各种语义文本相似度任务中的表现。实验证明，我们提出的 BERT-flow 方法在各种任务中显著优于现有状态下的句子嵌入方法。

Nov, 2020