Oct, 2023

无监督成分句法分析的集成蒸馏

PDF
TL;DR我们研究了无监督的成分句法分析任务，该任务将句子中的单词和短语组织成层次结构，而不使用语言学注释数据。我们观察到现有的无监督解析器捕捉了句法结构的不同方面，可以利用这些方面来提高无监督解析的性能。为此，我们提出了 “树平均” 方法，并进一步提出了一种新颖的无监督解析集成方法。为了提高推理效率，我们将集成的知识进一步融入到一个学生模型中；这种先集成后蒸馏的过程是缓解常见多老师蒸馏方法中存在的过度平滑问题的一种有效方法。实验证明，我们的方法超过了所有先前的方法，始终表现出其在各种运行，不同的集成组件和领域转移条件下的有效性和鲁棒性。
unsupervised constituency parsingtree averagingensemble methodinference efficiencymulti-teacher distilling methods
发现论文，激发创造
  • 基于集成的无监督非连续性短语结构分析方法

    我们提出了一种新的集成方法来处理无监督的不连续句法分析问题，通过对现有的不连续解析器的多次运行进行平均预测，稳定并提升性能。同时，我们还提供了对于不同二进制和连续性设置下的树平均的综合计算复杂性分析，以及一种高效的精确算法来解决这个任务，实验结果表明我们的方法在三个数据集上优于所有基准，并对我们的方法进行了深入分析。

    Feb, 2024

  • 基于连续语音信号的无监督组成结构句法分析中的级联和直接方法

    该研究使用无标签口语句子和未成对文本数据进行无监督组成语法分析，比较了通过级联自动语音识别和无监督解析器方法以及直接对连续的词级语音表示进行无监督解析器训练的方法，发现后者解析效果更好。此外，准确的分割也可以实现口语句子的准确解析。最后，该研究显示了无需显式归纳偏差的情况下，直接方法也可以正确学习头波方向性。

    Mar, 2023

  • 通过成分测试的无监督解析

    本文提出了一种基于无监督成分测试的无监督解析方法。通过使用一组转换和一个无监督的神经接受模型来制定无监督解析器，以生成给定句子的树，通过聚合其成分测试判断来评分。并且通过反复改进预测出的树和提高语法性模型之间的相互作用，进一步提高了准确性。

    Oct, 2020

  • 基于搜索的结构化预测知识蒸馏

    本文介绍了一种将多个模型组成的模型集合体及其概率输出 match 到参考状态和使用模型集合体探索搜索空间，通过实验表明，这种蒸馏（distillation）方式可以有效提高模型性能，比之前的模型都表现良好。

    May, 2018

  • 将一组贪婪依存解析器提炼为一个 MST 解析器

    介绍了两个第一阶段基于图的依存解析器，第一个是通过集成学习同质模型的共识解析器，利用最小贝叶斯风险解码法和 Hamming 代价，结合集成中的不确定性评估进行训练，第二个则是将集成模型压缩成单一模型的 'distillation' 解析器，利用新颖的结构化铰链损失函数避免了普通 'distillation' 目标的不可解交叉熵，首次在英语、汉语和德语上达到或超过了现有最先进水平。

    Sep, 2016

  • 基于自注意力头的无监督成分句法分析

    本研究使用 Transformer-based pre-trained language models 并提出一种全新的无监督分析方法，通过引入一个高排名头部的集合，用于从语法角度分析 PLMs 的学习知识，从而提取出 PLMs 的句法知识，并用这些知识来训练神经 PCFG，最终与人类注释的语法树库得到比较。

    Oct, 2020

  • 规则增强的无监督短语结构句法分析

    该研究提出了一种基于语法规则的非监督句法树生成方法，利用了语言的通用语法知识，采用强化学习和自编码器等技术，在 MNLI 和 WSJ 两个基准数据集上实现了最好的结果。

    May, 2021

  • 从上下文化单词表示中无监督地提取句法信息

    本文讲述了如何通过自动生成语义不同但结果相似的句子组集来学习一种转换，以去除词法语义但保留结构信息，并证明这种方法在结构聚类方面的效果优于词汇语义聚类方法，最终在少样本解析任务中优于原始上下文化语言表示。

    Oct, 2020

  • 无监督的句法成分分析中监督角色的作用

    本文分析了几种最近的无监督组分句法分析模型，介绍了强大的基准线，并提出了一种基于少量标注数据的组分句法分析方法，这种方法可以通过简单的数据增强和自我训练进一步提高性能。这表明，为了得出公正的结论，我们应当仔细考虑用于模型开发的标注数据量。

    Oct, 2020

  • 无监督分析的层次 Transformer

    本文扩展了转换器模型，使其能够学习自然语言中的层次结构，得到了较好的无监督语法分析结果。

    Mar, 2020