研究范围包括对最先进的基于 Transformer 的语言模型在意见挖掘方面的行为的研究，并对它们进行高级比较以突出它们的关键特点。此外，我们的比较研究为生产工程师提供了可关注的方法，并为研究人员提供了未来研究主题的指南。

Aug, 2023

我们提出了一种从文本集合中挖掘意见的新方法，该方法是使用在不同人群收集到的数据上训练的生成式语言模型。我们描述了意见洞察挖掘的基本定义、方法论和通用算法。通过在实验中展示预先训练的生成式模型使用经过特殊设计的内容进行精调，我们展示了我们的方法的性能，其中包含不自然且完全注释的意见。我们展示了我们的方法能够学习和将意见转移到语义类别中，同时保持极性的比例。最后，我们展示了使用洞察挖掘系统来从真实文本语料库中扩大发现意见洞察的用途。

Jul, 2023

本文研究了大型语言模型（尤其是生成预训练变压器）在各种语言相关任务上显示出的令人印象深刻的结果。我们探索了 ChatGPT 仅通过提示就能够执行情感计算任务的零点能力。我们显示 ChatGPT a）能够在价值、唤起和支配维度上执行有意义的情绪分析，b）在情绪类别和这些情感维度方面具有有意义的情感表示，以及 c）可以根据基于提示的 OCC 评估模型的计算实现，对情况进行基本的评估引发情绪的操作。这些发现具有很高的相关性：首先，它们表明解决复杂的情感处理任务的能力源于对广泛数据集进行基于语言的标记预测的训练。其次，它们显示了大型语言模型模拟、处理和分析人类情绪的潜力，这对于诸如情感分析、社交互动代理和社交机器人等各种应用具有重要意义。

Sep, 2023

本论文旨在探索基于大型预训练语言模型（如 GPT-3）的情感分析优化技术，以提高模型性能和效果，并进一步促进自然语言处理（NLP）的发展。通过介绍情感分析的重要性和传统方法的局限性，介绍了 GPT-3 和微调技术，并详细解释了它们在情感分析中的应用。实验结果表明，微调技术可以优化 GPT-3 模型，在情感分析任务中获得良好的性能。本研究对未来使用大规模语言模型进行情感分析提供了重要的参考。

May, 2024

本文研究表明，利用公开的神经语言模型，结合情感方面的分类器，所生成的假评论可以成功地欺骗人和机器，故而需要采取应对措施。

Jul, 2019

研究表明，使用语言模型（LMs）可以处理人类编码的文本，通过与人类编码员的比较，我们发现 GPT-3 可以达到与人类编码员相当的表现水平，这为在很多领域中应用语言模型来处理文本提供了证据。

Jun, 2023

本文研究如何运用语音和语言技术处理荷兰面板调查中的开放性问题，使用自动语音识别处理口头回答并使用 transformer 模型进行情感分析和主题模型分析。

Feb, 2023

该研究设计了一个交互式写作辅助框架，它利用基于 Transformer 的语言模型为作者提供可能的续写文本主题，并允许作者选择其中一部分以引导生成，研究表明该框架的主题选择比标准的聚类方法更好且自监督的训练能够产生流畅且相关的句子。

Mar, 2021

本文研究了使用 self-attention layer（transformers）预先训练的神经网络在情感识别中的表现，并发现这些模型成功利用语言信息来提高其 valence predictions，在测试他们时应包括对语言分析。

Apr, 2022

本文提出利用多语言 Transformer 模型，通过使用自动翻译进行数据增强，来适应非英语语言中的小型推特语料库，以提高转换器的效果。

Oct, 2020