Oct, 2023

统一的片段到片段框架用于同时序列生成

PDF
TL;DR提出了一种适应性和统一性的分段到分段框架（Seg2Seg）用于同步序列生成，通过引入潜在分段作为源到目标之间的桥梁并通过期望训练探索所有可能的源 - 目标映射，从而学习生成的最佳时机。实验结果表明，Seg2Seg 在多个同时生成任务中取得了最先进的性能，并且在各种任务中展现出更好的普适性。
simultaneous sequence generationreal-time scenariossegment-to-segment frameworksource-target mappingexpectation training
发现论文，激发创造
  • 通过潜在对齐分段实现长篇连贯语音翻译

    提出一种新的分割方法，用于低延迟的端到端同时语音翻译，并且在多种语言对和领域数据中显示出具有先进水平的质量。

    Sep, 2023

  • 基于序列到序列翻译的融合全程和时间戳监督的暂态行动分割

    本文提出了一个基于序列到序列解决视频动作分割的统一框架，利用全面时间戳监督设置的 seq2seq 翻译。我们使用 类似于映射视频帧序列到动作分段序列的方法，来解决动作分割这一问题。我们提出了一系列修改和辅助损失函数，以及针对标准 Transformer seq2seq 翻译模型的模块化方法，以应对长输入序列和相对较少的视频输出序列。我们为编码器引入了辅助监督信号，提出了一个独立的对齐解码器用于隐式持续时间预测，最后通过我们提出的有限 k-medoid 算法将框架扩展到基于时间戳的监督设置，用于生成伪分割。我们的框架在完全和时间戳监督设置中表现一致，胜过或与几个数据集上的最先进算法相竞争。

    Sep, 2022

  • 具可微分分段的端到端同声传译

    本文提出了一种基于 Differentiable Segmentation 的新型 SimulST 方法，该方法可以直接从底层翻译模型中学习分割，并通过所提出的期望训练将硬分割转换为可区分的方式，从而使其能够与翻译模型进行联合训练，从而实现优化的分割。实验结果表明，DiSeg 具有卓越的分割能力和最先进的性能。

    May, 2023

  • 一种非自回归生成框架用于端到端同步任意语音翻译

    我们提出了一种新颖的非自回归生成框架用于同时语音翻译 (NAST-S2X)，它将语音到文本和语音到语音任务整合到统一的端到端框架中。实验结果表明，NAST-S2X 在语音到文本和语音到语音任务中优于现有模型，在不到 3 秒的延迟内实现了高质量的同时口译，并在离线生成中提供了 28 倍的解码加速。

    Jun, 2024

  • Subword 分段机器翻译：统一分段和目标句子生成

    该研究提出了一种称为子词分节机器翻译（SSMT）的新方法，通过在单个可训练模型中联合学习目标句子单词的分割和目标句子生成，在生成翻译过程中采用动态解码算法进行细分操作，实验结果表明，SSMT 能提高粘着语言的 chrF 分数以及对于评估形态组成通用性构建的测试集的鲁棒性也更强。

    May, 2023

  • 序列生成：从两端到中间

    提出了一种同步双向序列生成模型，利用双向注意力网络实现从两个方向同时预测输出，解决了自回归解码方式生成长句时效率低，以及和未来内容关联性不足等问题，在神经机器翻译（英德、中英和英罗）以及文本摘要任务上，相比于自回归 Transformer，提高了生成质量且显著提升了解码速度。

    Jun, 2019

  • 运动到语言：无监督学习的同步语义运动分割

    本研究致力于构建一种序列到序列的架构，用于实现动作到语言的翻译和同步。我们提出了一种适用于同步 / 实时文本生成的新的局部注意力的递归表达形式，以及一种更适用于较小数据和同步生成的改进动作编码器架构。通过在 KIT 运动语言数据集上的实验证明，这两个因素都增加了生成文本质量和同步质量。

    Oct, 2023

  • 非分段输入的同步翻译：滑动窗口方法

    提出一种基于滑动窗口的方法来翻译语音识别输出，实验结果表明比传统的 ASR 分段方法提高了 1.3-2.0 BLEU 分数，且减少了重新翻译的需要。

    Oct, 2022

  • 可解释性端到端语音翻译：通过操作序列生成进行校准，写入和重新排序

    本文提出一种将自动语音识别和语音翻译集成生成的方法，允许生成同时满足单调字幕和非单调翻译的操作序列，以实现对语音输入的实时解释。

    Nov, 2022

  • 利用同步的流式 ASR 辅助的直接同声传译

    本文提出一种新型的语音翻译范例，通过使用两个分离但同步的解码器，一个用于流式 ASR, 一个用于直接语音翻译，并通过 ASR 生成的中间结果指导直接语音翻译，实现了流畅度更高的翻译质量。

    Jun, 2021