本文提出了一种组合学习方法，进一步超越了预先训练的语言模型，以捕捉涉及对话历史的话语感知和说话人感知等表示。通过使用 Transformer-based PrLM 的 masking 机制，将每个单词分别聚焦在当前话语，其他话语和两种说话人角色（即发送者话语和接收者话语）上，有效区分上下文信息。此外，该方法在对话领域适应性训练策略上借鉴了域自适应训练策略，成功地在四个公共基准数据集上取得了新的最先进性能。

Jan, 2023

本文总结了政治事件数据的方法和本体，并进行一系列实验以确定深度神经网络在从新闻文本中提取政治事件方面的适用性。

Sep, 2016

本文提出了一种新的基于上下文表示扰动评分的图表法提取已屏蔽语言模型中的句法树的方法，此方法在英语和八种语言的数据集上均表现出优异性能，能替代无监督语法分析方法。

Jun, 2023

本研究提出了一种基于 transformers 的新方法，通过对不同级别单元的上下文化表示进行编码，动态捕捉对话依赖分析所需的信息，并将对话关系识别视为序列标记任务

May, 2022

社交媒体上的言论常常由政治光谱两极中的不同方面使用 “看似相似的语言” 组成，但往往对应着截然不同的现实行动。本文旨在在计算环境中定义和描述理解此类模棱两可陈述所需的背景，并将其与真实世界的实体、行动和态度联系起来。为了达到这个目标，我们提出了两个具有挑战性的数据集，需要对文本的现实背景有全面的理解才能有效解决。我们通过构建基于 BERT、RoBERTa、GPT-3 等大型预训练模型的基线，并基于现有的 “话语语境框架” 和 “政治参与者表示” 模型开发和基准测试了更有结构化的基线。我们对数据集和基线预测进行分析，以深入了解所提出的社交背景任务所带来的实用语言理解挑战。

Nov, 2023

本文利用 transformers（如 BERT）从英语和葡萄牙语文本中实验和比较了不同的模型配置，结果表明对于 “政治推理” 领域，结合 BERT 预训练语言模型和句法依存模型等文本表示法可以在多个实验设置中优化结果，这为进一步研究异构文本表示法在自然语言处理等领域提供了切实的证据。

Jun, 2022

在本研究中，我们通过定性和定量措施，研究了用于词义启动的 BERT uncased 12 层架构的基本表示，以确定预训练语言模型中词义转换的确切位置。

Dec, 2023

该研究提出了 PAR 学习框架，该框架利用社会背景和专家知识，学习政治人物的代表性，以更好地理解政治文本，并成功提升了政治观点检测和投票预测的最新技术水平。

Oct, 2022

本研究探讨了预训练语言模型在捕捉篇章关系上的能力，并通过探究任务验证了不同架构和层数的 PLMs 的表现，得出了对于不同 NMT 任务在何种情况下使用不同层的 PLMs 是最好的决策。

May, 2023

本文提出了两个模型，即语义链模型和话语信息模型，并探究了四种实现方式。通过在语义自然语言处理任务中进行实验验证，证明我们的语义语言模型（SemLM）可以提高共指消解和话语分析等性能。

Jun, 2016