巴尼安：通过显式结构改进表示学习
简单模型在无监督相似性任务中优于复杂深度网络的实验证据，本文提供了一种基于最佳表示空间的简单而严格的解释，介绍了一种直接的方法，使深度复发模型（DRM）在不重新训练或结构修改的情况下，达到与浅层模型同等或更优的表现。
May, 2018
本研究介绍了一种名为潜在子类学习的方法，通过这种方法可以从输入表示中提取出诸如人的概念等熟悉的类别，以及对于核心参数的细粒度语义角色的首选，这些结果为预训练编码器中的新兴结构提供了独特的新证据。
Apr, 2020
本文提出了迁移学习作为一种分析神经语言模型中语法结构编码的方法，并发现训练模型在具有潜在结构的非语言数据上，如MIDI音乐或Java代码，可以提高模型在自然语言上的测试性能。作者还通过实验发现，在人工括号语言数据的训练中，模型对于层级递归结构的学习也有助于提高在自然语言测试上的性能，并且迁移学习的性能与语言类型的句法相似性密切相关，说明模型的预训练是具有学科跨越性质的。
Apr, 2020
本研究基于任务版本的概念，通过发展一种启发式工具DirectProbe直接研究表示物的几何结构，揭示了嵌入空间如何表示标签，并预测了分类器的性能。
Apr, 2021
介绍了一种提高语言模型结构理解能力的方法，它通过预训练语言模型生成的结构来替代以往的基于任务数据的微调方式，并且在包含28个数据集的10个预测任务上实现了零样本迁移和超越了21个数据集的最新成果。
May, 2022
通过使用结构化的变分自编码器进行完全无监督的学习，得出语境化嵌入的表征空间存在潜在状态的网络，这些状态不仅作为表示流形的拓扑结构的锚点，还揭示了对句子进行编码的内部机制。同时，表明句子作为潜在网络上的遍历，状态转换链编码了句法模板，状态-词发射填充了内容。
Jun, 2022
通过开发 StrAE —— 一个自动编码框架来探索 NLP 中显式结构对于表征学习的实用性，可以在无监督的方式下利用句子结构准确地学习多层节点嵌入，并通过一系列内在和外在任务来评估所学习的嵌入。
May, 2023
以语义结构探测为方法，对来自不同家族（仅编码器、仅解码器、编码解码器）和大小的语言模型进行实验，评估其在语义文本相似度和自然语言推理方面的性能和层次动态，发现模型家族在性能和层次动态上存在显著差异，但结果大部分与模型大小无关。
Oct, 2023
高层语义概念在大型语言模型的表示空间中按线性方式编码；本研究通过引入简单的潜在变量模型来研究这种线性表示的起源，并证明了下一个标记预测目标和梯度下降的隐式偏差共同促进了概念的线性表示。
Mar, 2024
通过一种新颖的可解释性方法，该论文使用信息论度量量化了神经模型对输入的表示的结构化程度，从而预测模型的泛化能力，并发现模型的代表性和噪声强度有关。此外，研究还研究了模型大小对表示空间结构的影响。
Jun, 2024