Feb, 2024

标点恢复提升结构理解无需监督

PDF
TL;DR非监督学习目标如语言建模和去噪在产生预训练模型方面扮演重要角色，然而，最近的大语言模型的对话能力令人印象深刻，但它们在捕捉文本内的句法或语义结构方面滞后。我们假设这种语言性能和机器能力之间的差异是由于目前流行的预训练目标对语言结构知识的转移不足引起的。我们表明，标点恢复可以提高与结构相关的任务的内、外分布性能，如命名实体识别、开放信息提取、块划分和词性标注。标点恢复是一种有效的学习目标，可以改善结构理解并产生更健壮的结构感知的自然语言表示。
unsupervised learning objectivespunctuation restorationlinguistic structure knowledgestructure-related tasksstructure-aware representations
发现论文，激发创造
  • 通过数据生成和强化学习提升标点恢复

    这篇研究论文提出了一种强化学习方法，利用主题相关的书面文本和最新的大规模预训练生成式语言模型，来填补自动语音识别中书面文本和语音识别文本之间的差距，并在标点恢复的两个基准数据集上取得了最先进的性能。

    Jul, 2023

  • 标点复原的对抗迁移学习

    本研究旨在解决文本标点还原中词向量只包含从左到右上下文信息和外部词性标注器的不足。为此，引入敌对式迁移学习和多任务联合学习，将预训练双向编码器表示模型用于初始化标点模型，利用多个任务的学习提高模型效果，在 IWSLT2011 数据集上进行实验，结果表明本文提出的模型相较于以往基于词法特征的模型，在测试集上的 F1-score 表现提高了 9.2%。

    Apr, 2020

  • 使用迁移学习恢复西班牙语客户支持记录的标点符号

    本文提出了一种自动标点恢复系统，采用两种基于迁移学习的策略来解决西班牙文转录数据的稀疏性，同时使用英语转录数据来提高标点恢复系统的准确性，适用于实时客户支持转录服务。

    May, 2022

  • 利用外部数据提高语音抄本的标点恢复能力

    本文研究了针对嘈杂文本（如电话对话场景）的标点恢复问题，提出了一种基于 n-gram 语言模型的数据采样技术来采样更多类似于我们的领域数据的训练数据，并提出了一种基于 BERT 模型的两阶段微调方法，大量实验表明该方法的 F1 得分提高了 1.12％，优于基线模型。

    Oct, 2021

  • DeepStruct: 为结构预测预训练语言模型

    介绍了一种提高语言模型结构理解能力的方法，它通过预训练语言模型生成的结构来替代以往的基于任务数据的微调方式，并且在包含 28 个数据集的 10 个预测任务上实现了零样本迁移和超越了 21 个数据集的最新成果。

    May, 2022

  • 对话理解的结构预训练

    本文提出了结构化预训练对话阅读器 SPIDER，通过两个训练目标相结合以捕获对话独有的特征，即复原语音顺序和句子骨干规则化，实现了从对话文本中有效地捕获任务相关知识，并在广泛使用的对话基准测试中取得了显著的实验结果。

    May, 2021

  • 大写字母和标点恢复：一项调查

    本文调查了历史和最新的技术，针对文本来源中缺失标点符号和大小写的情况，进行了恢复和矫正。此外，还探讨了当前的挑战和研究方向。

    Nov, 2021

  • 一种适用于中文医学标点恢复的小型且快速的 BERT 模型

    基于 “预训练和微调” 范式的快速轻量级中文医学标点还原模型，通过引入监督对比学习和新颖的辅助预训练任务（标点符号预测），蒸馏预训练模型以适应标点还原需求，实验表明，该模型在相对于最先进的中文 RoBERTa 模型的 10% 模型尺寸下能够达到 95% 的性能。

    Aug, 2023

  • 利用自然监督进行语言表示学习和生成

    本论文研究了三个方面的工作：如何提高预训练模型在 NLP 任务中的性能，在维基百科和释义上利用语言结构以提取知识，以及定制文本资源以建立挑战性的评估任务。

    Jul, 2022

  • 使用生成式目标进行语句表示学习，而非对比式目标

    本文提出了一种基于短语重构的生成式自监督学习目标，从而在获得上下文化标记级别表示的同时，有效获取句子级别表示，在句子结构的建模上进行了精细的设计，实验结果表明，该方法在语义检索和重排序任务上超越当前最先进的对比方法。

    Oct, 2022