attention-based models | BriefGPT

关键词attention-based models

搜索结果 - 33

ACL利用语法感知的局部注意力提升 BERT 性能
本文提出一种基于句法结构的局部语义注意力机制，将其与 BERT 等预训练语言模型相结合，提高对句子中句法相关词的关注度，在单句分类和序列标注等任务中实现了一致性增益。
PDF4 years ago
ACL深度学习中计算语言学的势不可挡的崛起
本文追溯了神经网络在自然语言理解任务中的应用历史，指出了自然语言的特性对神经网络架构的发展的关键贡献。文章着重强调了变量绑定及其在基于注意力模型中的实例化的重要性，并认为 Transformer 不是序列模型而是一种诱导结构模型。这一视角导
PDF4 years ago
GOBO: 基于量化的注意力自然语言处理模型，实现低延迟和高能效推断
GOBO 是一种模型量化技术，将当前 BERT 模型的大部分参数从 32 位浮点数压缩到 3 位，无需调整或重新训练即可同时保持其准确性，在硬件上可用于内存压缩和流量减少.
PDF4 years ago
ECCV细节决定成败：自监督注意力网络用于车辆再识别
本文提出一种利用自我监督注意力模型的方法 ——SAVER，以便有效地学习特定于车辆的判别性特征，并在包括 VeRi、VehicleID、Vehicle-1M 和 VERI-Wild 数据集在内的数据集上获得了更好的实验效果，摆脱了强监督方法
PDF4 years ago
用于机器翻译和自然语言理解的语法注入 Transformer 和 BERT 模型
本论文研究了通过将句法信息与深度学习模型相结合，提高自然语言处理任务的性能表现，对多特征的语法 - Transformer 进行了测试，发现在完整数据集和部分数据集中，BLEU 得分都有明显提升，同时，在 GLUE 基准测试中，语法嵌入的
PDF5 years ago
长篇语音识别的端到端模型比较
本研究调查和提高端到端模型在长篇转录上的性能。实验比较了不同的端到端模型并证明 RNN-T 模型在这种场景下比注意力模型更加鲁棒，并且使用限制注意力单调性和分段解码算法等两种改进方法，将注意力模型的性能极大提升，达到了和 RNN-T 模型相
PDF5 years ago
EMNLP从人类的理性推论中推导机器的关注
本文研究了基于注意力机制对低资源场景下自动学习映射的问题，并提出了一种可以实现从资源丰富的领域到低资源领域的映射方法，在基准数据集上取得了 15% 以上的平均误差降低率。
PDF6 years ago
针对语音识别的端到端注意力模型的改进训练
研究了基于子词单元的序列到序列的注意力机制模型在简单开放式语料库上进行的端到端语音识别中的应用，通过预置一个高时间缩小系数并在训练过程中逐步降低，以及使用辅助 CTC 损失函数等方法，证明了它的有效性和高性能。同时，还对基于子词单元的 LS
PDF6 years ago
基于音节的 Transformer 序列到序列中文语音识别
通过使用基于自注意力机制的 Transformer 模型，比较了基于音节和音素的汉语语音识别模型，结果表明音节模型在 HKUST 语料库上表现优异。
PDF6 years ago
精益求精：选择信息量丰富的视频帧进行视频字幕生成
提出了一种基于强化学习的编码器 - 解码器框架下的 PickNet 模型，用于在视频字幕任务中选择关键帧以提升性能，该模型最终选择的少量帧能够高质量的代表整个视频序列，更具视觉多样性与文本一致性。
PDF6 years ago
基于注意力机制的序列到序列模型最小词错率训练
本文研究了训练注意力机制的序列到序列模型来直接最小化期望的单词错误率，通过实验证明通过 N-best 列表的解码假设比基于模型的采样方法效果更好，相对于基准系统性能提高了 8.2%。
PDF7 years ago
神经模型词序比较
本文比较了几种语言模型，提出了一种新的基于注意力机制的神经模型，用于词序任务，在德语数据集上性能显著优于现有模型。作者还描述了一种基于 LM 的词序搜索策略，并在英文 Penn Treebank 数据集上报告了结果。最佳模型设置在速度和质量
PDF7 years ago
NIPS奥卡姆之门
本文通过对门控单元激活值的 L1 正则化来解决基于注意力的 RNN 模型过拟合的问题，同时提高了模型的可解释性。实验证明，这种方法在多项任务中均有效，包含情感分析、释义识别和问答等。
PDF9 years ago