transformer layers | BriefGPT

关键词transformer layers

搜索结果 - 12

DeepStack: 深度堆叠视觉令牌在 LMMs 中的惊人简洁和高效
该研究提出一种新的架构 DeepStack 用于大型多模态模型（LMMs），通过将视觉令牌分组堆叠到与之对应的转换层以增强 LMMs 的建模能力，并在广泛的实证结果中验证了 DeepStack LMMs 的有效性。
PDFa month ago
WWWRAT：检索增强转换器用于点击率预测
通过检索式转换器建立内部和跨样本特征交互，用于点击率预测，提高预测效果并保持高效性。
PDF3 months ago
使用语言模型的语言切换语音识别：古吉拉特英语
通过条件化变换器层上的语言 ID，我们提出了两种引入语言特定参数和可解释性以及实现辅助性的时间损失方法，以改进端到端自动语音识别模型的性能。尽管无法显著减少词错误率，但我们的方法在通过仅仅的口语数据预测正确语言方面表现出潜力。我们通过在序列
PDF4 months ago
2D 套娃句子嵌入
引入了一种名为二维母婴句子嵌入的新型句子嵌入模型，支持弹性设置嵌入尺寸和 Transformer 层数，具备比 Matryoshka Representation Learning 更大的灵活性和效率。在语义文本相似性（STS）任务和下游应
PDF4 months ago
对改进过的瑞士住宅数据集进行条件楼层平面生成的 HouseDiffusion 调适
自动地板平面生成最近取得了重要的发展，本篇技术报告介绍了一种将 HouseDiffusion 模型扩展到 MSD 数据集的方法，包括修改模型的转换层以便条件化于一组墙线，并引入了预处理流程以从提供的建筑结构的二进制掩码中提取墙线。此外，发现
PDF7 months ago
使用基于 Wav2vec2 的口音识别模型探究语音和韵律信息
本研究旨在通过模型探测系统层面地分析自监督学习模型在口音识别任务的微调中音素和韵律信息变化，并比较其在 Phoneme 相关性任务和预测词级韵律任务中的表现，结果表明 AID 微调任务使得自监督模型的前两层学习到了更丰富的音素和韵律表示，并
PDFa year ago
Transformer 层的神经 ODE 解释
本文提出了一种修改 Transformer 层内部结构的方法，将多头注意力子层和 MLP 子层并行布置，并且结合使用神经 ODE 求解器的高级积分方案，提高了 Transformer 网络在多个任务中的性能。
PDF2 years ago
多语言 ASR 的协商扩展
本文研究了基于 Transformer 模型的多语言自动语音识别模型，提出了一种多语言的反推算法用于提高模型的识别能力，实验结果显示，相较于单语言算法，该算法的识别误差平均降低了 4%，在某些语言上甚至有 14% 的提升，且该算法可以进行并
PDF2 years ago
ACL提高了的无声语音识别模型
本文提出了一种改进的模型，利用面部肌电图信号合成音频，并使用卷积层和 Transformer 层提取特征和传递信息，在预测语音音频特征的同时引入了辅助任务来提供更好的信号，实现了在开放词汇清晰度评估上表现出绝对提高了 25.8% 的最新技术
PDF3 years ago
EMNLP探究预训练语言模型的词汇语义
本研究针对 6 种不同语言和 5 种不同词汇任务，对单语和多语言源 LM、无上下文编码和有上下文编码、特殊标记的包含和分层平均等不同词汇知识提取策略的影响进行了系统的实证分析，并验证了较低变压器层携带更多类型级词汇知识的主张。
PDF4 years ago
使用预训练编码器进行文本摘要
本研究展示了 BERT 如何在文本摘要中有用地应用，并提出了一种通用的框架，包括抽取式模型和生成式模型。在此框架下，我们引入了一种新的基于 BERT 的文档级编码器，该编码器能够表达文档的语义并获取其句子的表示，通过堆叠多个 Transfo
PDF5 years ago
VisualBERT：一种用于视觉和语言的简单高效基准线模型
VisualBERT 是一个简单灵活的框架，由一系列 Transformer 层组成，可以对输入的文本和相关的图像区域进行自我注意力对齐。该论文提出了两种针对预先训练 VisualBERT 的视觉语言模型目标，经过在四项视觉语言任务上的实验
PDF5 years ago