hierarchical transformer | BriefGPT

关键词hierarchical transformer

搜索结果 - 8

ACL具高效的分层变换器的生成式预训练语音语言模型
我们介绍了一种用于有效语音语言建模的层次变压器的生成预训练语音变压器 (GPST)，它将音频波形量化为两种不同类型的离散语音表示，并在层次变压器架构中进行集成，从而实现统一的单阶段生成过程并增强 Hi-Res 音频生成能力。通过以端到端无监
PDFa month ago
RefineNet: 通过分层 Transformer 和渐进细化提高高分辨率和细节准确性的文本到图像转换
我们介绍了 RefineNet，这是一种新颖的架构，旨在解决文本到图像转换系统中分辨率限制的问题。我们探讨了从文本描述生成高分辨率图像的挑战，重点关注详细准确性和计算效率之间的权衡。RefineNet 利用层次化 Transformer 结
PDF6 months ago
基于分层 Transformer 的脑扩散器用于 MCI 因果分析
提出了一种脑扩散器，利用层次化变换器来估计轻度认知障碍（MCI）分析的有效连接；该模型通过堆叠多头注意力和图卷积网络来增强结构 - 功能互补性并提高噪声估计能力，并有效地捕捉大脑区域之间的单向和双向相互作用。
PDF7 months ago
跨尺度分层 Transformer 结合语义对应增强注意力用于推断鸟瞰视角语义分割
本研究提出了一种基于跨尺度分层 Transformer 和对应增强注意力的语义分割训练方法，针对使用多相机视图图像进行 Bird's-eye-view（BEV）语义分割的问题，并在大量实验中证明了其性能优越性。
PDFa year ago
研究计划分类的分层跨学科主题检测模型
研究如何使用 Hierarchical Interdisciplinary Research Proposal Classification Network (HIRPCN) 开发一个自动的跨学科课题路径检测系统，该系统使用分层变压器来提取
PDF2 years ago
WWW基于序列化对话行为建模的目标导向会话系统用户满意度评估
本文提出了一种新的框架 USDA，采用分层 Transformer 编码整个对话上下文，并发展了两种 USDA 变体，以捕捉有监督或无监督方式的对话行为信息，在预测用户满意度时，结合了内容和行为特征的时序转换。在四个基准目标导向的对话数据集
PDF2 years ago
HiT：层次化动量对比视频 - 文本检索的 Transformer 模型
提出了一种新的名为 Hierarchical Transformer (HiT) 的方法，其中包括 Hierarchical Cross-modal Contrastive Matching 和 Momentum Cross-modal C
PDF3 years ago
Swin Transformer: 使用偏移窗口的分层视觉 Transformer
本文提出了一种新的视觉 Transformer，称为 Swin Transformer，它在计算机视觉领域中作为通用骨干具有很强的能力，包括图像分类和目标检测。Swim Transformer 的层次设计和移位窗口方法对于所有多层感知器架构
PDF3 years ago