transformer-based architectures | BriefGPT

关键词transformer-based architectures

搜索结果 - 70

基于内间关注的连续手语识别
本研究介绍了在连续手语识别研究中引入的一种新模块，称为 “内 - 间词汇关注模块”，以利用手语视频中词汇内部帧之间的关系，以及词汇之间的语义和语法依赖关系。在实验中，使用 PHOENIX-2014 基准数据集对所提出的模型进行评估，结果表明
PDF6 days ago
不应仅依赖自然语言训练的明确识别
使用基于 Transformer 的架构进行 LaTeX 文本识别，识别到存在的 “偏差” 问题并提出使用混合数据集训练的 LaTeX 打印文本识别模型，该模型在编码器中采用 Swin Transformer，解码器中采用 RoBERTa
PDF8 days ago
从 Transformer 中提取有限状态机
我们提出了一种专门为 Transformer 模型设计的自动机提取算法，通过对 Transformer 模型的内部潜在表示进行转换过程的跟踪并使用经典的教学方法来将其解释为确定有限状态自动机（DFA），揭示了 Transformer 模型如
PDF24 days ago
Transformer 学习 HMM 的局限性
该研究探讨了基于 Transformer 的架构在学习隐藏马尔科夫模型 (HMMs) 及其变种方面的性能。通过广泛的实验证明，Transformer 在训练速度和测试精度方面始终不如循环神经网络 (RNNs)。此外，研究还揭示了 Trans
PDFa month ago
粗糙变压器：轻量级连续时间序列建模与路径特征
在处理非均匀间隔的时间序列数据时，传统的循环模型表现不佳，研究人员通常会使用基于神经常微分方程的模型和基于 Transformer 的模型来解决长程依赖和不规则采样数据的问题。为了解决这一挑战，本文引入了 Rough Transformer
PDFa month ago
利用大型语言模型从房地产交易中提取信息
运用大型语言模型及基于变压器的架构自动化提取房地产销售合同中的信息，以提高效率和准确性，并讨论相关挑战、技术和未来发展方向。
PDF2 months ago
S$^2$Mamba：一种面向高光谱遥感图像分类的空间 - 光谱状态空间模型
通过创新性地提出 S^2Mamba，即一种适用于高光谱图像分类的空间 - 光谱状态空间模型，以发掘空间 - 光谱上下文特征，实现更高效准确的土地覆盖分析。
PDF2 months ago
GLIMS：注重注意力的轻量级多尺度混合网络用于体积语义分割
GLIMS 是一种数据效率高、注意力引导的混合体积分割网络，利用了 Dilated Feature Aggregator Convolutional Blocks (DACB)，并结合了 Swin Transformer-based bot
PDF2 months ago
CVPRCA-Stream: 基于注意力池化的可解释图像识别
基于 transformer 架构的注意力机制与交叉注意力流 (Cross-Attention Stream) 相结合，能提高模型的可解释性并保持识别性能。
PDF2 months ago
朝着更小、更快的只解码 Transformer：架构变体及其影响
本研究引入了三种变体（ParallelGPT、LinearlyCompressedGPT 和 ConvCompressedGPT）来修改解码器专用的 Transformer 架构，这些变体在代码生成任务中取得了可比较的性能，同时具有模型尺寸
PDF2 months ago
StrideNET：基于动态粗糙度提取的地形识别的 Swin Transformer
StrideNET 是一种使用深度学习和 Transformer-based architectures 的双支路架构，用于地形识别和隐含属性估计，并通过统计纹理分析方法提取地表特性。
PDF2 months ago
基于深度学习的图文水印技术
该论文介绍了一种基于深度学习的新型文本图像水印嵌入和提取方法，通过使用 Transformer 架构进行文本处理和 Vision Transformers 进行图像特征提取，该方法在领域内树立了新的基准。该方法是深度学习在文本图像水印处理中
PDF2 months ago
SKIP: 提高推理速度的技能本地化提示调优
提出一种名为 SKIll-localized Prompt tuning (SKIP) 的新方法，能够显著地提高推断效率，同时减少参数数量，适用于各种基于 transformer 的架构。
PDF2 months ago
CVPRHumMUSS: 使用状态空间模型进行人体动作理解
基于状态空间模型，我们提出了一种新颖的无注意力空间时间模型，用于人体运动理解，兼具离线和实时应用的功能，并在各种动作理解任务中达到了变压器模型的性能水平。
PDF3 months ago
基于 Patch 和 Transformer 的长期多能源负荷预测的推进
Patchformer 是一种整合了补丁嵌入 (patch embedding) 和编码 - 解码式 Transformer 架构的新型模型，用于解决现有基于 Transformer 的模型在长期预测中难以应对复杂时间模式的问题，通过将多元
PDF3 months ago
TRABSA：使用基于注意力机制的双向 LSTM 和 Twitter-RoBERTa 的可解释性推特情感分析
我们提出了 TRABSA，这是一个混合框架，整合了基于 transformer 的结构、注意机制和 BiLSTM 网络，用于情感分析。我们使用 RoBERTa 训练了 124M 条推文，填补了情感分析基准的差距，确保了最先进的准确性，并通过
PDF3 months ago
多模态大型语言和视觉模型综述
通过对具有多模态能力的 LLM 和 MM-LLM 的当前状况进行广泛回顾，本文涵盖了 LLM 的历史发展、注意力机制在提升模型性能方面的作用，以及 Fine-tuning 和 prompt engineering 等模型调整技术。同时还分析
PDF3 months ago
CVPR基于 Transformer 的视觉关系检测中的群组查询专业化与质量感知多指派
在此研究中，我们提出使用 Groupwise Query Specialization 和 Quality-Aware Multi-Assignment (SpeaQ) 的方法来解决传统标签分配中的两个问题，从而有效地训练专门化的查询，提高
PDF3 months ago
用于连续高效时间序列建模的粗糙变换器
在医学背景下，基于时间序列的数据通常具有长程依赖并且在非均匀时间间隔下进行观察。为了解决这个问题，研究者们用基于神经 ODE 的模型取代了传统的基于序列的循环模型，来对不规则采样的数据进行建模，并使用基于 Transformer 的架构解决
PDF4 months ago
可解释的医学诊断变压器原型
人工智能在医学诊断中的部署需要准确性、有效性和可信性，强调机器决策的可解释性。最近自动化医学图像诊断的趋势倾向于采用基于 Transformer 的架构，归功于其令人印象深刻的能力。我们的研究旨在创新一种强调 “区域” 而非 “像素” 相关
PDF4 months ago