transformer encoders | BriefGPT

关键词transformer encoders

搜索结果 - 30

VLSM-Adapter: 用轻量级模块高效地微调视觉语言分割
基于 transformer 编码器，我们引入了一种称为 VLSM-Adapter 的新型适配器，它可以使用预训练的视听分割模型进行微调，我们的实验证明，仅有 300 万可训练参数的 VLSM-Adapter 优于最先进的技术，并且与上限末
PDF2 months ago
利用语音进行多模式通信中的手势检测
通过使用 Transformer 编码器对语音和骨架序列进行交叉模态和早期融合技术，本研究在协同语音手势检测方面取得了显著的性能提升，并发现模型的手势预测置信度与与手势相关的语音频率特征存在相关性。
PDF2 months ago
多视角声谱图变换器用于呼吸音分类
提出了一种 Multi-View Spectrogram Transformer (MVST) 模型，将深度神经网络应用于呼吸音频谱图的分类，通过将 mel-spectrogram 分为不同大小的 patches，使用 transforme
PDF8 months ago
G-CASCADE: 高效级联的图卷积解码用于 2D 医学图像分割
近年来，医学图像分割已成为计算机辅助诊断领域的重要应用。本文首次提出了一种新的基于图卷积的解码器，即级联图卷积注意力解码器（G-CASCADE），用于 2D 医学图像分割。通过有效的图卷积块，G-CASCADE 逐渐改进由分层 Transf
PDF8 months ago
遮蔽硬关注变形器和布尔 RASP 准确识别无星语言
Transformer 编码器通过硬注意力和严格的未来掩码来识别语言，其所识别的语言类是无星自由语言；添加位置嵌入可以扩展所识别的语言类到其他研究领域。通过布尔 RASP 技术，我们将 Transformer 与一阶逻辑、时间逻辑和代数自动
PDF8 months ago
具有强制注意力的 Transformer 编码器所接受的逻辑语言
我们研究了可以被 Transformer 编码器识别的形式语言，重点关注了两种自注意机制：UHAT（Unique Hard Attention Transformers）和 AHAT（Average Hard Attention Trans
PDF9 months ago
ICCV野外基于骨架的动作识别
SkeleTR 是一个新的基于骨架的动作识别框架，通过图卷积来模拟骨架序列的个人内部动态，并使用堆叠的 Transformer 编码器来捕捉人与人之间的重要交互，从而在一般情境下进行动作识别。
PDF9 months ago
通过多阶段序列标注实现共喃手势检测
我们提出了一种新的框架，将手势检测任务看作多阶段序列标注问题，通过处理时间窗口内的骨骼运动序列，使用 Transformer 编码器学习上下文嵌入，并利用条件随机场进行序列标注。我们在大规模数据集上对我们的方法进行评估，结果表明，我们的方法
PDF10 months ago
IJCAITACOformer: 多模态情感识别的标记通道复合交叉注意力
本研究提出一种综合的多模态融合方法，结合了基于渠道和记号的跨模态相互作用，同时使用两个变压器编码器来捕捉融合的长期时序依赖，从而在情感数据集 DEAP 和 Dreamer 上取得了最先进的性能。
PDFa year ago
ACLLAIT：具有可调层数和互动的变压器中高效的多段编码
本研究提出了一种名为 “Layer-Adjustable Interactions” 的编码器架构，可将输入的文本分成片段进行单独编码和联合编码，以实现在提高多项自然语言处理任务的表现的同时，减少注意力计算量。
PDFa year ago
语音识别的多头状态空间模型
本文提出了一种带有特殊门控机制的多头状态空间（MH-SSM）架构，它可以作为多头注意力在转换器编码器中的替代品，在对于序列数据的处理中能够比转换器转录器更好地优化带来的结果，在 LibriSpeech 语音识别数据集上提高了性能。同时，我们
PDFa year ago
SIGIR当搜索遇见推荐：为推荐学习解耦搜索表示
本文提出了一个基于搜索的框架，即 SESRec，用于为顺序推荐提供支持。在该框架中，用户 S＆R 行为的相似和不同表示的区分是通过对 S＆R 行为序列的对比学习任务进行监督来实现的，该任务旨在从三个方面从注意力机制中提取用户兴趣。在工业和公
PDFa year ago
PARAGRAPH2GRAPH: 基于 GNN 的布局段落分析框架
本文提出了一种名为 Paragraph2Graph 的基于图神经网络（GNN）的模型，它能够处理多种语言，并表现出了在处理文档布局方面的出色能力，同时可以适应需要进行严格分离的业务场景。
PDFa year ago
MeMaHand: 利用网格 - Mano 交互进行单图像双手重建
本文提出了一种利用素材学习获取双手的网络来实现手的重建，其中考虑了两种不同的手表示法。通过引入 Mesh-Mano interaction blocks（MMIBs）以及 mesh alignment refinement module，我
PDFa year ago
基于多模态数据的情绪反应强度估计
本文介绍了我们在 CVPR 2023：Affective Behavior Analysis in-the-wild (ABAW) 第 5 次研讨会和比赛中进行情感反应强度 (ERI) 估计挑战的方法，通过基于多模态数据提取声学和视觉特征，
PDFa year ago
3D 点云的生成模型
本研究的目的是通过实验转换编码器、潜空间流模型和自回归解码器等方法来改进点云潜空间生成模型的性能，并对这些模型在不同物体类型上的生成和重构性能进行分析和比较。
PDFa year ago
EMNLP理解和改善知识蒸馏，针对大型 Transformer 编码器的量化感知训练
本文提出了两种知识蒸馏方法，即注意力映射和注意力输出损失，并探索了两者的统一，以解决注意力重构的不足。实验结果表明，这两种知识蒸馏方法可以在使用小于 2 位的量化权重时，获得具有先进性的精度。
PDF2 years ago
EMNLP利用编码器早期融合创建全球概率空间以进行开放领域问答
通过扩展 Transformer 编码器的能力以融合信息，使用全局表示跨样本注意所有令牌，并提出了一种更好的答案跨度概率计算方法，我们使用与综合数据增强配对的方法，在推理期间只使用 25％的参数和 35％的延迟，在自然问题数据集上的精确匹配
PDF2 years ago
EMNLP基于 Transformer 自编码器的有效预训练目标
本研究研究了使用不同的预训练目标预训练 Transformer 编码器时，效率、成本和准确性之间的权衡，并分析了常见目标的特征并将它们组合起来创建新的有效预训练方法。该实验使用基于直观统计方法的轻型标记生成器替换 ELECTRA 计算重的生
PDF2 years ago
利用 Hard Attention Transformers 进行正式语言识别：来自电路复杂性的视角
本文分析了三种 Transformer 编码器的形式模型，比较它们的自注意力机制：unique hard attention（UHAT）、generalized unique hard attention（GUHAT）和 averaging
PDF2 years ago