Apr, 2020

标点复原的对抗迁移学习

PDF
TL;DR本研究旨在解决文本标点还原中词向量只包含从左到右上下文信息和外部词性标注器的不足。为此，引入敌对式迁移学习和多任务联合学习，将预训练双向编码器表示模型用于初始化标点模型，利用多个任务的学习提高模型效果，在 IWSLT2011 数据集上进行实验，结果表明本文提出的模型相较于以往基于词法特征的模型，在测试集上的 F1-score 表现提高了 9.2%。
adversarial transfer learningpos taggingpunctuation restorationbert modelmulti-task learning
发现论文，激发创造
  • 标点恢复提升结构理解无需监督

    非监督学习目标如语言建模和去噪在产生预训练模型方面扮演重要角色，然而，最近的大语言模型的对话能力令人印象深刻，但它们在捕捉文本内的句法或语义结构方面滞后。我们假设这种语言性能和机器能力之间的差异是由于目前流行的预训练目标对语言结构知识的转移不足引起的。我们表明，标点恢复可以提高与结构相关的任务的内、外分布性能，如命名实体识别、开放信息提取、块划分和词性标注。标点恢复是一种有效的学习目标，可以改善结构理解并产生更健壮的结构感知的自然语言表示。

    Feb, 2024

  • 通过数据生成和强化学习提升标点恢复

    这篇研究论文提出了一种强化学习方法，利用主题相关的书面文本和最新的大规模预训练生成式语言模型，来填补自动语音识别中书面文本和语音识别文本之间的差距，并在标点恢复的两个基准数据集上取得了最先进的性能。

    Jul, 2023

  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • 面向对话语音标点预测的多模态半监督学习框架

    本研究探索一种多模态半监督学习方法，通过学习大量无标签的音频和文本数据来预测标点符号。实验结果表明，使用注意力机制的多模态融合相对于使用强制对齐的多模态融合可以使基线模型分别在参考转录和自动语音识别输出上达到约 6-9％和 3-4％的绝对改进（F1 分数），数据增广也可以使模型对 ASR 错误更加鲁棒。

    Aug, 2020

  • 通过对抗训练实现稳健的多语言词性标注

    本文探讨基于对抗性训练的模型对自然语言处理任务的影响，发现对抗性训练不仅可以提高深度学习模型的鲁棒性，还能对词性标注和依存句法分析等任务有积极的影响。

    Nov, 2017

  • 噪声用户生成文本的词性标注领域自适应

    使用神经网络实现 POS 标注器，通过领域自适应和正则化技术，在德语推文数据集中实现高于 90% 的标注准确度。

    May, 2019

  • 一种适用于中文医学标点恢复的小型且快速的 BERT 模型

    基于 “预训练和微调” 范式的快速轻量级中文医学标点还原模型，通过引入监督对比学习和新颖的辅助预训练任务（标点符号预测），蒸馏预训练模型以适应标点还原需求，实验表明，该模型在相对于最先进的中文 RoBERTa 模型的 10% 模型尺寸下能够达到 95% 的性能。

    Aug, 2023

  • 面向会话语音的标点符号预测模型

    本文通过训练基于深度神经网络技术的双向长短期记忆网络（BLSTM）和卷积神经网络（CNN）的序列标注模型，来解决语音识别系统中无法正常预测标点符号的问题，并且通过在 Fisher 语料库上的实验证明，基于卷积神经网络预测标点符号的方法更加精确。同时，本文结果表明，将 Fisher 语料库转化为时间对齐的文本以及采用预训练嵌入模型可以提高标点预测的准确性。

    Jul, 2018

  • 一种上下文感知的特征融合框架用于标点修复

    本文提出了基于两种类型 Attention 的特征融合框架，旨在解决 transformer 模型中存在的长句子注意力不集中问题，实现标点还原任务，并在 IWSLT 数据集上验证其有效性。

    Mar, 2022

  • 用于时间延迟神经网络中的多模态声学和文本嵌入标点恢复的高效集成架构

    EfficientPunct 使用多模时间延迟神经网络实现标点符号的恢复，它在性能和效率方面都创造了新的最佳结果，其中使用 BERT 纯文本嵌入的预测的权重略高于多模网络的预测。

    Feb, 2023