本文提出了一种深度学习的体系结构，用于基于轮询槽位的语音问答系统中的语义解码器组件，该语义解码器利用分布式语义表示学习来克服显式去词汇化的限制，通过使用卷积神经网络和长短时记忆网络对句子和上下文表示进行建模，并基于DSTC2和In-car数据集，对模型进行了实验验证。

Oct, 2016

本文提出了一种动态集成显式背景知识的NLU模型，使用通用阅读模块来读取背景知识，并经过实验验证其在文档问答和文本蕴涵等任务上取得了显著的效果。

Jun, 2017

通过在单个语义希尔伯特空间中对语义单元进行建模，本文提出了一种新框架，用于文本分类任务，并在六个基准文本分类数据集上展示了该模型的有效性、鲁棒性和自我解释能力。

Feb, 2019

利用语境嵌入表示的词义表征，基于WordNet全覆盖创造了意义级别嵌入，并不依赖于显式知识或任务特定建模，从而实现了前所未有的词语消歧性能提升。

Jun, 2019

研究探讨了提高深度神经网络在自然语言处理（NLP）任务中的可解释性的各种方法，包括机器翻译和情感分析，并对术语“可解释性”及其各个方面进行了全面讨论。这项工作列举了与局部解释相关的各种方法，并将其分为三类：1）通过相关的输入特征解释模型的预测；2）通过自然语言解释进行解释；3）探查模型和单词表示的隐藏状态。

Mar, 2021

该综述着重探讨如何通过训练深度上下文语言模型，在没有人为限制下更灵活地内部化和表达关系知识，对知识表示策略进行分类，提出了高层次的可扩展分类法，并强调了当前语言模型在知识表示方面的能力与未来的研究方向。

Apr, 2021

本文提出了一种新的内在评估任务VAST，可以用来评估基于上下文的词嵌入(CWEs)的效果，研究了上下文语境、分词、语言模型等因素对CWEs的影响，并且该评估方法也可以用于7种不同的语言；通过实现对GPT-2的测试，发现通过对其中一些神经元的操作可以过滤掉更多的非语义相关的信号，从而提升词语语义相关性的相关度；最后，通过对词相似性的任务以及词汇关联偏差测试的研究表明，VAST在LM语义理解方面有很好的效果。

Mar, 2022

本文提出了一种将BERT-GPT2自编码器的隐藏空间转换为更易分离的语义空间的方法，借助于基于流的可逆神经网络(INN)，实验结果表明，这种方法能够比最新的最先进模型更好地实现语义的分离和可控性。

May, 2023

本文介绍了基于因果抽象的分布式对齐搜索方法（Distributed Alignment Search，DAS），通过替换搜索过程并训练参数，能够高效地在大型语言模型中搜索可解释的因果结构。在应用DAS于Alpaca模型时，我们发现它通过实现一个具有两个可解释的布尔变量的因果模型来解决一个简单的数值推理问题，并且神经表示与这些变量的对齐具有鲁棒性。这些发现标志着我们深入了解最大、最广泛使用的语言模型内部运行机制的第一步。

May, 2023

我们介绍了一种名为“基于词汇定义的语义”的开创性方法，它在语言模型（LMs）的潜空间中建立了一个固定的参考框架，确保了在LM词汇基础上的绝对语义分析。通过广泛的实验，我们的方法超越了检索增强生成和参数有效微调的最先进方法，展示了它的功效和广泛适用性。

Jan, 2024