Mar, 2022

一种上下文感知的特征融合框架用于标点修复

PDF
TL;DR本文提出了基于两种类型 Attention 的特征融合框架，旨在解决 transformer 模型中存在的长句子注意力不集中问题，实现标点还原任务，并在 IWSLT 数据集上验证其有效性。
发现论文，激发创造
  • FF2: 用于标点符号恢复的特征融合双流框架

    提出了一种名为 “Feature Fusion two-stream framework (FF2)” 的方法，该方法通过将预训练语言模型和另一个辅助模块捆绑起来，同时修改多头注意力的计算方式并将两个不同角度的特征进行融合以增强上下文感知能力，实现了无额外数据下在 IWSLT 测试集上取得了最新的 SOTA 表现。

    Nov, 2022

  • 面向对话语音标点预测的多模态半监督学习框架

    本研究探索一种多模态半监督学习方法，通过学习大量无标签的音频和文本数据来预测标点符号。实验结果表明，使用注意力机制的多模态融合相对于使用强制对齐的多模态融合可以使基线模型分别在参考转录和自动语音识别输出上达到约 6-9％和 3-4％的绝对改进（F1 分数），数据增广也可以使模型对 ASR 错误更加鲁棒。

    Aug, 2020

  • 基于句间注意力机制改进基于 Transformer 的对话语音识别

    本文提出了一种基于 Transformer 的端到端架构方法，在自动语音识别中精确建模跨话语的语境依赖，通过引入上下文感知残余注意机制，对先前语音的上下文进行编码，同时，还采用条件解码器框架将历史语言信息融入到当前预测中，结果表明该方法在几种公开对话语料库上都取得了持续的改进

    Jul, 2022

  • Multiformer：基于可配置头部的 Transformer 模型的直接语音翻译

    本文提出了一种基于 Transformer 的新模型 Multiformer，它可以根据任务需要在不同的头上应用不同的注意力机制，从而有力地解决了长序列和相邻 token 冗余等问题。同时，我们发现各头权重分布均匀的模型可以取得更好的效果。

    May, 2022

  • 聚焦 Transformer：上下文缩放的对比训练

    提出了一种名为 Focused Transformer（FoT）的技术，通过对称的学习过程来增强（键，值）空间的结构，从而提供更长的上下文长度，有效地解决了大型语言模型在处理长文本时的局限性。

    Jul, 2023

  • 挑选未充分利用的头部：关注网络修剪对于融合对话指代信息的头部选择的视角

    通过网络修剪的角度，研究了一种特征注入的注意头选择和操作策略，并在对话摘要中进行了案例研究，结果表明通过注意头操作注入指代关系信息可以提高对话摘要的性能。

    Dec, 2023

  • 四合一：联合逆文本规范化、标点、大写和表达不流畅对于自动语音识别的方法

    本文提出一种统一的自动语音转换为书写形式文本的方法，使用了一个两阶段的过程实现了逆文本规范化、标点符号、大写和不流畅的统一标注，然后使用权重有限状态转换器语法来格式化标注的 ITN 实体跨度。该方法在自然语言处理中的成果优于专门的模型。

    Oct, 2022

  • 用于时间延迟神经网络中的多模态声学和文本嵌入标点恢复的高效集成架构

    EfficientPunct 使用多模时间延迟神经网络实现标点符号的恢复，它在性能和效率方面都创造了新的最佳结果，其中使用 BERT 纯文本嵌入的预测的权重略高于多模网络的预测。

    Feb, 2023

  • Fovea Transformer：高效的结构化精细到粗糙注意力长上下文建模

    Fovea Transformer 是一种以长 - context 为中心的 Transformer 模型，通过在输入序列中构建一个多尺度树来提高模型对全局依赖性的捕捉能力，并在长 - context 摘要任务上取得了最先进的性能。

    Nov, 2023

  • 利用跨度注意力机制改进组成结构分析

    本文提出了一种利用跨度注意力和分类跨度注意力的神经图表句法分析方法，通过加入 n-gram 信息，得以更好的建模上下文信息，并在阿拉伯语、中文和英语解析中都取得了最先进的性能。

    Oct, 2020