sequence-to-sequence tasks | BriefGPT

关键词sequence-to-sequence tasks

搜索结果 - 9

ACLSyntaxShap: 一种文本生成的语法感知解释性方法
为了在安全关键领域利用大型语言模型的力量，我们需要确保其预测的可解释性。本文介绍了 SyntaxShap，一种针对文本生成的局部、模型无关的可解释性方法，考虑了文本数据中的句法结构。通过扩展 Shapley 值来考虑基于解析的句法依赖关系，
PDF5 months ago
AAAI重新思考注意力：探索浅层前馈神经网络作为 Transformer 中注意力层的替代方案
本研究通过分析使用标准的浅层前馈网络来模拟原始 Transformer 模型中的注意力机制的有效性，采用知识蒸馏的方法，用简单的前馈网络替换 Transformer 中的关键元素，并在 IWSLT2017 数据集上进行实验，发现这种 “无注
PDF8 months ago
序列到序列的西班牙语预训练语言模型
本文介绍了在西班牙语语料库上预训练的著名编码器 - 解码器架构 ——BART、T5 和 BERT2BERT 风格模型。通过对各种序列到序列任务（包括摘要、改写和生成式问答）的综合评估，我们发现所有模型的性能竞争力，其中 BART 和 T5
PDF10 months ago
半监督语言指导的多模态序列生成模型
本研究提出了一种基于多模态生成模型的半监督学习方法，通过学习序列对之间的共享表示来重构未配对的数据，以解决指令跟随任务中的挑战，并在实验中通过利用未配对数据来改善表现。
PDF2 years ago
利用代理梯度脉冲神经网络作为编码器进行大词汇量连续语音识别
通过替代传统的 LSTM，本文证明了用 spiking neural networks 采用 surrogate gradient method 算法进行训练可在连续语音识别任务中替代 LSTM，并表现出良好的性能和抗梯度爆炸问题的稳健性。
PDF2 years ago
使用对角线线性递归神经网络简化和理解状态空间模型
本文主要介绍了一种基于线性状态空间的序列模型，使用 vanilla Diagonal Linear RNNs 构建模型，并比较了该模型与 SSMs 以及 attention-based models 的表现。作者在 13 个合成序列任务中分
PDF2 years ago
邻居是足够的吗？多头神经 n-gram 可成为自注意力的替代方案
通过替换 Transformer 中的 self-attention，用 multi-head neural n-gram 来完成序列到序列任务，发现两者结合可以进一步提高 Transformer 的性能。
PDF2 years ago
ACL学习检索上下文学习提示
本文提出了一种有效的方法，利用标注数据和语言模型（LM）检索 in-context learning 的提示，训练稠密的检索器并在三个序列到序列任务中发现它明显优于之前的工作和多个基线。
PDF3 years ago
USTC-NELSLIP 在 IWSLT 2021 的同声传译系统
本文介绍了中国科技大学 - 智能语音处理研究组在 IWSLT2021 同声传译（Simultaneous Speech Translation）比赛中的参赛作品。我们提出了一种新颖的同声翻译模型 Cross Attention Augmen
PDF3 years ago