May, 2022

Transcormer：滑动语言建模句子评分的 Transformer

PDF
TL;DR本文提出了一个基于 Transformer 的滑动语言建模技术来进行句子评分，该方法可以避免传统方法只考虑单向上下文、多次前向传递带来的计算代价等问题，并在多项任务中展现出更好的效率和准确度。
sentence scoringnatural language processingtransformersliding language modelingbidirectional context
发现论文，激发创造
  • 基于线性关注力模型建模上下文，实现可扩展的文档级翻译

    本文研究了一种基于 Peng et al. (2021) 的线性注意力模型，并通过句子门促进最近归纳偏置，以提高文档级机器翻译的效能和翻译质量，并在 IWSLT 2015 和 OpenSubtitles 2018 上进行了评估和测试，结果表明该模型在长序列的解码速度方面有大幅提高，且翻译得分相似或更高，并展示了句子门进一步提高了 IWSLT 上的翻译质量。

    Oct, 2022

  • 利用双向语言模型进行有效的语句评分方法，用于语音识别

    本文提出了一种考虑 biLM 过去和未来单词之间交互的句子得分方法，在对 N 个最佳列表重新评分时，biLM 显著优于 uniLM，特别是在识别的句子很短或错识单词位于句子开头时。

    May, 2019

  • SLM：使用句子重排学习语篇语言表示

    通过自我监督的方式，我们提出了句子级别的语言建模作为新的预训练目标，通过打乱输入句子的顺序训练用于重构原始顺序的分层 transformer 模型以鼓励中型结构的学习，进而提高原 BERT 模型的性能。

    Oct, 2020

  • TransLLaMa: 基于 LLM 的同步翻译系统

    经过小规模数据集上的微调后，预训练的开源解码器 - 仅模型可以通过生成特殊的 “等待” 标记直接控制输入分段，从而在同时翻译任务中达到与最先进基准模型相媲美的 BLEU 分数；尚未进行先前训练的闭源模型在此任务中显示出令人鼓舞的结果，为改进未来的同时翻译系统指明了一个有希望的方向。

    Feb, 2024

  • 基于 Transformer 的多语言文档嵌入模型

    本研究基于双向 LSTM 神经机器翻译模型探索了基于 transformer 的句子 / 文档嵌入模型 T-LASER，并使用距离约束损失函数增强 NMT 损失函数，提升模型在多语言文本处理方面的性能。

    Aug, 2020

  • LLMs 是零射击上下文感知的同时翻译器

    大型语言模型在同时机器翻译任务中表现出与某些最先进基准系统相当或更好的性能，并且注入最少的背景信息（容易实现）可以进一步提高性能，尤其是在具有挑战性的技术主题上。这凸显了大型语言模型构建下一代大规模多语言、上下文感知和术语准确的同时翻译系统的潜力，而无需资源密集型的训练或微调。

    Jun, 2024

  • 语音识别的长跨度语言建模

    本文探索多句子语境下神经语言模型的应用，并介绍结合了注意力机制和 LSTM 的新型模型在语音识别和长跨度语言模型方面的实验结果。

    Nov, 2019

  • 贝叶斯 Transformer 语言模型在语音识别中的应用

    使用贝叶斯学习框架和变分推断优化，提高了 Transformer 神经语言模型的泛化性能和模型鲁棒性。在 Switchboard 语料库和 DementiaBank 中的实验都获得了明显的性能提升。

    Feb, 2021

  • 利用短文本模型高效理解长文本

    提出了一种名为 SLED 的机制，通过对输入进行重叠切块、使用预训练过的短文本语言模型编码并在解码器中进行信息融合，从而实现处理长序列的目标，其竞争力与特定任务的大型模型不相上下。

    Aug, 2022

  • 使用 Transformer 进行句子简化 -- 以五岁孩子的语言为解释

    本文使用预训练转换器模型探讨了简化句子的方法，并在 Mechanical Turk 数据集上结合 GPT-2 和 BERT 模型取得了 46.80 的最佳 SARI 得分，明显优于之前的最新研究成果。

    Dec, 2022