transformers architecture | BriefGPT

关键词transformers architecture

搜索结果 - 4

Legal-HNet：将法律长上下文标记与哈特利变换混合
在本文中，我们探讨了用简单的记号混合机制 ——Hartley 和 Fourier 变换替代基于注意力的层的替代方法，并在法律领域设置中从头开始训练模型。我们还介绍了一种新的混合 Seq2Seq 架构，即无注意力的编码器与有注意力的解码器相连
PDF8 months ago
一个用于对比去雾算法的新的真实世界视频数据集
该研究论文介绍了一个名为 REVIDE 的视频数据集，为深度学习和基准测试提供了包含清晰和有雾条件下的视频。还提到了一种使用时间冗余来减少伪影和帧间曝光变化的视频去雾算法，并选用了变形金刚网络结构用于验证所提出数据集的相关性。
PDF9 months ago
可增量计算的神经网络：动态输入的高效推理
深度学习和增量计算方法，采用向量量化处理输入数据，通过离散化中间值以便复用信息，应用于 Transformer 架构，实现了复杂度与输入变动比例成正比的高效增量推理算法，并通过实验证明在文档分类中达到了和传统方法几乎相等的准确性，但处理微小
PDFa year ago
基于 Transformer 的语音识别模型的迁移学习：由捷克语到斯洛伐克语
本文探讨了利用 Transfer Learning 方法，从 Czech pre-trained Wav2Vec 2.0 Model 中导入语音识别模型到斯洛伐克，并在三个 Slovak 数据集上进行了测试，结果表明在预训练阶段初始化权重后
PDFa year ago