使用双编码器模型将来自不同来源的上下文信息与预训练语言模型相结合，提高文本领域内作者立场识别的准确度。

Nov, 2022

本研究提出了一种基于 transformers 的新方法，通过对不同级别单元的上下文化表示进行编码，动态捕捉对话依赖分析所需的信息，并将对话关系识别视为序列标记任务

May, 2022

本文提出 DisCOC 方法，通过注入和融合大规模语言模型派生的上下文化特征和句子结构语义信息，实现通过路径上的语篇结构确定辩论中有效干扰因素的目标。实验证明，显式建立上下文和文本之间的关系以及对上下文路径的话语结构进行建模都有助于提高 Durmus 等人（2019）提出的辩论结构分类任务的性能，并且在实验中人们可以进一步了解要分类的论点语境路径之间的语篇结构，从而提高分类性能。

Jun, 2021

本文研究利用 Rhetorical Structure Theory 和递归神经网络（使用新提出的 attention 机制）来加强文本分类的方法，实验结果表明其优势和劣势。

Feb, 2017

通过结构化的注意力机制来获得文本的 RST 语篇树结构是一种学习蕴含语篇结构的潜在表示的有吸引力的替代方法。通过评估其他与语篇相关的任务和数据集后，我们发现这种方法并不能很好地捕捉文本的语篇结构，即使模型做了一些结构性的改进，也不能和基于现有语篇分析器的语篇依存树相提并论。最后，消融研究表明，结构化的注意力机制甚至有时会损害性能。

Jun, 2019

该研究探讨了上下文信息是否影响文本模型对于评论内容的判断，结果发现上下文信息能够强化或减轻评论内容的毒性，但是定量证据表明，加入上下文信息并不能提高文本模型评价评论内容毒性的表现。

Jun, 2020

本文提出了一种上下文感知的谈话主题分类方法，通过引入对话上下文和对话行为特征，扩展了神经主题分类和无监督主题关键词检测的先前研究，以提高谈话中的主题识别准确性和预测用户评价指标。

Oct, 2018

该研究提供了一个信息理论框架，用于分析文本分类任务中输入对输出的影响，研究发现多选阅读理解任务中，上下文与问题对输出的影响随着数据集的挑战程度增加而减少；而情感分类任务中，输入文本的语义含义在决定情感时比其语言表达更为重要。

Feb, 2024

利用大型语言模型的表达能力，为输入文本合成额外的上下文，以增加其与带有注释的情感标签的关联性。通过提出文本上下文的形式化定义，并使用提示策略增强这种上下文信息，我们通过人工评估和实证评估证明了我们的方法改善了输入和人工注释标签之间的关联性。

Nov, 2023

通过使用一些新的文本分类方法，我们研究了模型是否真正学习了组合句子的意义，或者仅仅关注一些关键词或词典。我们的结果表明，许多模型仍然只是关注词汇和关键词，因此我们提出了新的正则化技术来防止这种过拟合，并在实验中得到了良好的结果。

Jan, 2018