EMNLPApr, 2020

不先告知就提问：探究语境表示中的潜在本体论

PDF
TL;DR本研究介绍了一种名为潜在子类学习的方法，通过这种方法可以从输入表示中提取出诸如人的概念等熟悉的类别，以及对于核心参数的细粒度语义角色的首选，这些结果为预训练编码器中的新兴结构提供了独特的新证据。
pretrained contextual encoderslatent subclass learninglinguistic structureinput representationssemantic roles
发现论文，激发创造
  • 理解语境化表示的潜在拓扑感知

    通过使用结构化的变分自编码器进行完全无监督的学习，得出语境化嵌入的表征空间存在潜在状态的网络，这些状态不仅作为表示流形的拓扑结构的锚点，还揭示了对句子进行编码的内部机制。同时，表明句子作为潜在网络上的遍历，状态转换链编码了句法模板，状态 - 词发射填充了内容。

    Jun, 2022

  • 通过 LLMs 潜空间增强上下文分类

    使用转换器模型从维基百科数据集及其相关类别中提取语义信息，通过不同方法对类别的语义特征进行评估和增强，以提高数据组织的语义准确性。

    Apr, 2024

  • 上下文化词表示的低维线性几何

    本文研究了 ELMO 和 BERT 中的单词表示的线性几何，发现低维子空间编码了各种语言特征，包括结构化依赖关系，子空间之间存在着层次关系，可以用于对 BERT 的输出分布进行细粒度的操作。

    May, 2021

  • 一种隐变量模型用于内部探测

    本文提出了一种新的潜变量公式用于构建内在探测器以确定语言属性所在位置，并提出一个可行的变分逼近方法，用于求解对数似然函数计算，结果表明这个模型能够获得更好的内部探测精度，并且在跨语言的形态句法方面表现良好。

    Jan, 2022

  • 探究上下文词向量的句子结构学习

    研究比较四种最近的模型对句子结构的编码情况，发现语言模型和翻译模型训练出的模型对句法现象具有强大的表现，但对语义任务的改进相对较小。

    May, 2019

  • 发现 BERT 学习的潜在概念

    此文探讨深度神经网络模型中学习的潜在观念，以及与传统的语言学层次的对比分析，并发现存在偏见的潜在观念并提供数据集（BCN）支持这些结论。

    May, 2022

  • 一种基于上下文的突现学习理论：隐式结构归纳

    该研究探讨了大型语言模型的上下文学习能力及其理论机制，提出了基于自然语言数据中组合操作的信息理论边界，并从语言学角度验证了模型输出中间步骤的成功经验。研究表明，在缩放参数和数据并提示输出中间步骤时，模型能在多项任务中进行有效的上下文学习，这种学习得到的支持与其输入的组成结构有关。

    Mar, 2023

  • 语法有助于 ELMo 理解语义：在深层神经结构中，语法仍然相关吗？

    本研究研究了关于是否通过无监督的方式来学习丰富的上下文化令牌表示，从而消除了在神经网络模型中显式建模语言结构的需要，最后得出结论，即使使用 ELMo 表示，句法相关模型仍然优于无句法模型，尤其是对于领域外的数据。

    Nov, 2018

  • 通过线性结构探测研究变压器句子嵌入的语义子空间

    以语义结构探测为方法，对来自不同家族（仅编码器、仅解码器、编码解码器）和大小的语言模型进行实验，评估其在语义文本相似度和自然语言推理方面的性能和层次动态，发现模型家族在性能和层次动态上存在显著差异，但结果大部分与模型大小无关。

    Oct, 2023

  • 本体蕴含推理的语言模型分析

    研究表明，虽然预训练语言模型对于自然语言推理方面的知识有比较好的编码能力，但其对于本体论的推断需要更多的背景知识，而且在给定少量样本的情况下能够有效地进行推断。

    Feb, 2023