本研究旨在确定自然语言处理中所谓文本的概念，并提出一套通用术语和分类体系，以扩展文本的范围，从而更好地进行 NLP 建模。该研究强调了包容性方法在 NLP 中处理文本的重要性，并呼吁开发者采用系统化的报告方式，以巩固该话题。

Nov, 2022

本研究提出了一种基于变换器模型的大型英文立场检测数据集上关于文本分类的一系列实验，评估了不同类型的上下文信息对准确性的贡献，结果表明结构信息在特定情况下对文本分类有很高的益处。

Feb, 2024

本研究通过让模型处理带有分散注意力内容的填空任务，检验了预训练语言模型利用关键上下文信息的能力；研究结果表明，模型往往只是依靠表面上与上下文有关的信息进行预测，而对于上下文语境的理解能力不及预期。

Sep, 2021

通过实验发现，将上下文放在问题之前可以提高模型性能，而强调上下文相较于问题强调在提高性能方面更为有效。此外，强调输入某些部分对于解决那些模型缺乏参数知识的问题特别有效，最好的方法是简单的连接几个标记到输入中，提高了 36% 的准确性。

Jun, 2024

通过对 NLP 模型中的观察段或语义相关的词群进行分析，将解释性摘要方法更加灵活化，并通过分析不同段落的虚假或肯定例子，引入了 NLP 模型的根本原因分析方法。最后，通过对 Yelp 评论数据集的实验证明，利用单词和 / 或信息中的组 / 集群结构可以帮助解释 NLP 模型的决策，并可用于评估模型对性别，语法和单词含义的敏感性或偏差。

Mar, 2023

该研究提出了三种不同的因果提示，研究了情感分类数据的不同性质在模型响应中引发的协议的一致性或多样性，并建议未来的研究提高对 NLP 任务中不同因果结构的认识。

May, 2023

本文提出一个可视化分析工具 DeepNLPVis，采用基于互信息的量化方法对深度自然语言处理模型进行统一理解，通过多层次的可视化（语料库级别、样本级别和单词级别）支持从整体到个别的分析，通过两个分类任务的案例研究和模型比较，证明了 DeepNLPVis 能够帮助用户识别潜在问题并做出知情决策。

Jun, 2022

语言模型的先验知识与上下文信息的整合方式对不同问题和上下文情境具有可预见的特征，模型在涉及熟悉实体的问题中更依赖于先验知识，易受特定情境影响。我们提出两个基于互信息的度量，分别衡量模型对上下文的依赖和对实体先验的敏感性。通过经验测试，验证了这些度量的有效性和可靠性，并发现其与模型对实体的熟悉程度存在关联，提供两个使用案例来说明其优势。

Apr, 2024

通过使用一些新的文本分类方法，我们研究了模型是否真正学习了组合句子的意义，或者仅仅关注一些关键词或词典。我们的结果表明，许多模型仍然只是关注词汇和关键词，因此我们提出了新的正则化技术来防止这种过拟合，并在实验中得到了良好的结果。

Jan, 2018

研究自然语言处理的 NLP 和人工智能领域对实体理解的影响，提出了基于实体概念的方法，并介绍了如何在实体链接任务中使用这种方法。通过核指代文簇难题进行了实验研究，分析了知识库实体集成到文本中的方法并从时间视角分析了实体的演变。

Apr, 2023