本文研究了预训练语言模型 BERT 在情感识别中的能力。通过 BERT 的框架和两句话的结构，我们将其应用于连续对话情感预测任务中，并依赖于句子级上下文感知理解。实验表明，通过将连续对话映射到因果话语对中，该模型能更好地捕获回复话语的情感。该方法在 Friends 和 EmotionPush 的测试数据集中取得了 0.815 和 0.885 微型 F1 分数。

Aug, 2019

本文介绍了 Emotion Twenty Questions (EMO20Q) 的基于网络的演示，它是一个对话游戏，旨在研究人们如何描述情感。EMO20Q 还可用于开发能够玩游戏的人工智能对话代理程序。该系统的最新发展，包括基于变压器的神经机器学习模型和用于回答问题的系统架构和编程等方面的更新。该演示系统将可用于收集试点数据。

Oct, 2022

我们使用经过适当调整的表示方法和少量示例来对商业用户感兴趣的问题进行分组，并制作可用于数据探索或员工培训的可视化。

Jun, 2022

通过将短语复述关系注入 BERT，可以在不增加模型大小的情况下获得适当的表示，即可提高语义等价性评估。通过标准自然语言理解任务的实验，证明这种方法在保持模型大小的同时，有效地改进了一个较小的 BERT 模型。生成的模型在语义等价性评估任务上表现优异，并在训练数据集有限的任务上实现了更大的性能提升，这是一种有利于迁移学习的属性。

Sep, 2019

使用 BERT 模型对 SemEval2017 中 Twitter 上的英语情感分析任务 4A 进行解决，在训练数据量较小的分类任务中，BERT 是一个非常强大的大型语言模型。使用此模型进行实验时，我们使用了包含 12 个隐藏层的 BERT BASE 模型，该模型在准确性、精确率、召回率和 F1 分数上优于朴素贝叶斯基线模型，在二分类子任务中表现更好，我们还在实验过程中考虑了所有种类的伦理问题，因为 Twitter 数据包含个人和敏感信息。我们在此 GitHub 存储库中提供了实验中使用的数据集和代码。

Jan, 2024

本文介绍了一种基于 BERT 的上下文对话编码器 DialogueBERT，通过五个自超监督学习预训练任务学习对话表述的特殊性，并整合了四个不同的输入嵌入来捕捉话语之间的关系，该模型在意图识别、情感识别和命名实体识别等三个下游对话理解任务中表现出优异性能。

Sep, 2021

提出了一种改进的语言表示模型 Semantics-aware BERT，通过集成来自预训练语义角色标注的显式上下文语义，从而在十项阅读理解和语言推理任务中获得了新的最先进或实质性改进的结果，以促进自然语言理解。

Sep, 2019

本文介绍了我们通过深度学习和使用 BERT 模型的方法，在 EmotionX-2019 和 SocialNLP 2019 的共享任务中，对来自电视节目 Friends 和 Facebook 聊天记录 EmotionPush 的每个话语的情感进行了识别，并通过微平均 F1 分数对模型性能进行了评估，得到了同类中的第三名。

Jul, 2019

该论文系统地研究了面向通用文本表示的分层 BERT 激活，以了解其捕获的语言信息以及它们在不同任务之间的可转移性。在下游和探测任务中，句子级别的嵌入与两个最先进的模型进行了比较，而段落级别的嵌入则在四个问答（QA）数据集上进行了学习排名问题设置的评估。结果表明，将预训练的 BERT 模型微调于自然语言推断数据上可以显著提高嵌入的质量。

Oct, 2019

通过新的基于模型的方法，我们提出了一种在多任务场景中为每个文本选择逐个注释的任务的方式，从而最大程度地减少注释数量，并且几乎不损失知识，同时还强调了根据注释任务的主观性收集多样化数据以有效训练模型的需求，并通过在单任务和多任务场景中评估模型来衡量主观任务之间的关系，此外，对于某些数据集，仅依靠我们模型预测的标签进行训练，可作为自监督学习规范化技术，提高任务选择的效率。

Dec, 2023