transformer encoders | BriefGPT

关键词transformer encoders

搜索结果 - 30

ECCVDoodleFormer：基于 Transformer 的创意素描绘画
本研究提出了基于 DoodleFormer 两阶段框架的创意素描图像生成方法，该方法采用了图形感知编码器和概率化编码器等技术，可成功有效地产生出具有多样性与真实性的创意素描图像，相关应用包括文本生成和素描完成等。
PDF3 years ago
基于 Transformer 的多任务学习用于灾难推文分类
本研究采用基于 Transformer 的多任务学习方法，对社交媒体上发布的求助信息进行分类和优先级评估，在 TREC INCIDENT STREAMS 赛道上获得了与其他参赛队伍相当的成绩，其中采用集成方法能够进一步提高准确率，本研究将其
PDF3 years ago
EMNLP干细胞假说：利用 Transformer 编码器进行多任务学习面临的困境
通过多任务学习，结合 transformer 编码器，研究了多个 NLP 任务，发现多任务学习的注意力头之间相互干扰，提出干细胞假说解释在某些任务上具有天赋的注意力头不能被同时训练。同时，提出了新的无参考探针来验证该假说，通过标签分析展示了
PDF3 years ago
EMNLP无监督意见抽取消除方面级情感分类的情感偏差
本文提出了一种基于跨度的抗偏置情感表征学习框架，通过拟对手学习消除了方面嵌入中的情感偏差，然后通过跨度依赖建模将处理出的意见候选点与方面对齐，突出可解释的意见术语，在五个基准测试中取得了最新的最先进的性能，具有无监督意见提取的能力。
PDF3 years ago
ACL神经文本分类器的鲁棒可解释性缺失
本研究通过两种随机化测试，评估预训练 Transformer 编码器的神经文本分类器的可解释性解释的鲁棒性，并发现出乎意料的偏差，从而对实践者从解释中获得的深入的见解提出疑问。
PDF3 years ago
ACL探究基于 CTC 的非自回归端到端语音翻译的重新排序能力
使用连接主义时间分类（CTC）构建非自回归语音到文本翻译模型，并将基于 CTC 的自动语音识别作为辅助任务来提高性能。通过对 CTC 的重新排序能力进行分析，使用肯德尔 - 塔距离作为定量指标并提供梯度可视化，进一步探索了非自回归语音翻译的
PDF3 years ago
EMNLP学术文献中的篇章层面定义检测：现有模型、误差分析和未来方向
本篇论文提出了一个新的定义检测系统 HEDDEx，它基于语法特征和转换编码器设计，能够在标准和文档级别测试中，分别比现有系统提高了 12.7 和 14.4 F1 值并讨论了在文档级别定义检测方面的挑战和改进的建议以及阅读辅助应用的潜在问题。
PDF4 years ago
ACL生成式方法用于维基百科章节分类与命名
本论文通过生成维基百科文章的段落标题的新任务，评估了具有不同解码器的 Transformer 编码器的性能。分析表明，包含对编码器输出的注意力机制的解码器通过生成抽取式文本实现高得分结果。相反，没有注意力机制的解码器更有利于语义编码，并可用
PDF4 years ago
Transformer Transducer：基于 Transformer 编码器和 RNN-T Loss 的可流式语音识别模型
该论文提出了一种端到端的语音识别模型，使用 Transformer 编码器可用于流媒体语音识别系统；该模型在 LibriSpeech 数据集上进行了实验结果，结果表明限制 Transformer 层中自注意力左侧上下文对于流式解码是可行的，
PDF4 years ago
Mockingjay: 无监督双向 Transformer 编码器的语音表征学习
Mockingjay 是一种基于双向 Transformer 编码器的语音表示学习方法，它可以通过联合过去和未来的上下文来预测当前语音帧，提高音素分类、说话人识别和情感分类等下游任务的性能，且仅需很少的标注数据即可实现优越表现。
PDF5 years ago