本文提出了两个模型，即语义链模型和话语信息模型，并探究了四种实现方式。通过在语义自然语言处理任务中进行实验验证，证明我们的语义语言模型（SemLM）可以提高共指消解和话语分析等性能。

Jun, 2016

通过学习分布式标记表示以及潜在的语篇感，实现了对句子对之间的标记和语段信息的联系，具备自动学习和解释性强的特点，并在隐式语篇关系识别任务中达到了 SOTA 效果。

Jun, 2023

本文研究使用情感搭载的话语标记产生大规模弱标记数据并利用此数据训练与情感分析更好契合的连续预训练模型，以提高零标记和少样本情况下的性能表现，并在多项基准数据集上进行了广泛的实验，包括金融领域。

Jan, 2022

研究证明，语法元素对于自然语言处理至关重要，因为它们提高了语言模型的性能并为人们理解学习机制提供了线索。本研究探讨了韩语语言模型是否能准确捕捉其灵活性，并通过构建 Syntactically Incomplete Korean（SIKO）数据集验证了这一点。研究结果表明，这些模型能够准确处理韩语中的不完整输入，而通过使用 SIKO 进行微调，则能够提高处理常见的不完整韩语句法形式的能力。此数据集的简易构建过程以及显著的性能改进使其成为一种有效的数据增强技术。

Jul, 2024

本研究提出一种新的方法来衡量当今语言模型中形容词修饰现象的组合表现，研究结果表明当代神经语言模型在考虑下文影响时存在显著的差异，并且词类之间存在差异但在组合中无法表现，这引起了当前语言模型是否能够捕捉到真正的语言分布特性的质疑。

Oct, 2022

在理解预训练语言模型对话建模能力方面，我们提出了一种句子入侵检测任务，并在英语方面检查了一系列预训练 LM 的性能。我们通过构建包含英语维基百科和 CNN 新闻文章的 170,000 + 文档的新型入侵句子检测数据集 INSteD，显示预训练 LM 在域内评估中表现出色，但在跨域设置中经验了大幅下降，表明其对跨域推广的能力有限。进一步的，在一个新的语言探测数据集上的结果表明，在跨域设置中有很大的改进空间。

Mar, 2021

该研究介绍了一种将主题模型与语言模型相结合的方法，扩展了语言理解的范围，通过主题进行了文档级上下文的抽取，并提出了一种可解释的主题表征，将主题语义加入到语言模型中。通过建模每个句子中的话题，保留了句子与文档主题关联，提出了一种既有隐藏话题，同时又有可解释话题的神经组合语言模型。该模型在多项任务中展现了显著提升的能力，包括语言建模、词义消岐、文档分类、检索和文本生成。

Jun, 2020

本论文旨在针对基于预训练语言模型（LMs）的语用能力，重点关注与话语连接词有关的语用能力。我们通过自然发生的数据和来源于心理语言学的控制输入结合的方式来制定填空测试方式，重点测试模型使用语用线索预测话语连接词的能力、理解与连接词相关的含义，以及模型对连接词时间动态的人类偏好程度。我们发现，虽然模型在自然发生数据的情境下可以合理地预测连接词，但当我们控制语境以孤立高级语用线索时，模型的灵敏度较低，而模型也没有显示出显著的人类时间偏好。总体而言，研究结果表明，在现阶段，主流的预训练模型不能够达到具备实质性的语用能力。

Sep, 2021

通过比较 GPT-3、ChatGPT 和 GPT-4 模型的分析结果，研究发现这些模型能够可靠地重现 AMR 的基本格式，并且通常能够捕捉到核心事件、论证和修饰结构，但模型的输出容易出现频繁和重大错误，从整体上来看，即使在演示中，模型也几乎没有成功地产生完全准确的解析结果，这表明这些模型尽管能够捕捉到语义结构的某些方面，但在支持完全准确的语义分析或解析方面仍存在关键的局限性。

Oct, 2023

本文利用特殊语言特征提高韩语命名实体识别，使用 CoNLL-U 格式提出韩语语料库标注方案，实现命名实体标记在分词中减少歧义，并探讨以词素为基础的标记方案的可行性和性能。

May, 2023