transformer encoder | BriefGPT

关键词transformer encoder

搜索结果 - 72

COLINGCLaCLab 在 SocialDisNER 的应用：使用医学词表识别西班牙语推文中的疾病实体
该论文总结了 CLaC 团队对 SMM4H2022 任务 10 的研究，该任务涉及识别西班牙推文中提到的疾病。在将每个标记进行分类之前，该团队使用多语言 RoBERTa Large、UMLS 名录和 DISTEMIST 名录等特征对每个标记
PDF2 years ago
ECCV通过可散点学习统一视觉感知
UniHead 使用 transformer encoder 实现视觉感知任务的统一处理，提供了一个简单、灵活、通用的视觉感知头，支持对象检测、实例分割和姿态估计等视觉任务，并在 ImageNet 和 COCO 数据集上进行了广泛的评估。
PDF2 years ago
社会科学的 Transformer 编码器
本文介绍了 Transformer Encoder for Social Science（TESS），这是一种紧凑预训练的深度神经网络，专门设计用于解决社会科学研究中的文本处理任务。经过两个验证测试，我们证明了在训练样本数量有限（＜1,00
PDF2 years ago
ECCV基于 Transformer 的分离模态交叉注意力 3D 人体网格恢复
本文研究了 Transformer Encoder 在 3D 人类网格重建上的应用。提出了一种名为 FastMETRO 的新型 Transformer Encoder-Decoder 结构，对输入标记的复杂性进行了解耦，并通过注意掩码和网格
PDF2 years ago
ECCVAvatarPoser: 从稀疏动作感知中获取关节化全身姿势跟踪
AvatarPoser 是第一个仅使用用户的头部和手部运动输入来预测世界坐标中全身姿势的基于学习的方法，具有较高的准确性和实时操作速度，并能够提供支持 Metaverse 应用的全面性化虚拟人物控制和表现的实用界面。
PDF2 years ago
使用密集检测锚点在足球视频中精确检测动作
通过使用一组密集的检测锚点，预测每个锚点的检测置信度和相应的精细时间位移量，我们提出了一种视频中时间精准行动检测的模型，并尝试了两种主干架构，一维版的 u-net 和 Transformer 编码器 (TE), 并采用锐度感知最小化 (SA
PDF2 years ago
基于 Transformer 的流式端到端自动语音识别中的平移块编码器
提出一种基于移位块机制的 SChunk-Transformer 和 SChunk-Conformer 模型，可以较好地解决全局上下文建模和训练效率问题，在 AISHELL-1 测试集上分别取得 6.43% 和 5.77% 的 CER 准确率
PDF2 years ago
CVPRSwinTextSpotter: 基于更好的文本检测与识别协同的场景文本定位
本文提出了一种使用 transformer encoding 的新型端到端场景文本识别框架，并通过一种新的识别转换机制，在不需要额外的矫正模块或字符级别注释的情况下显式地引导文本定位，从而使该方法在多种数据集上显著优于现有方法。
PDF2 years ago
PathSAGE: 随机路径采样的空间图注意力神经网络
本文介绍一种名为 PathSAGE 的模型，它使用 Transformer 编码器聚合从中心节点开始的路径样本，以学习高阶拓扑信息，提高模型的性能，并避免了太深的 GCNs 可能会遇到的 “邻居爆炸” 和 “过度平滑” 问题，同时在归纳学习
PDF2 years ago
面向个性化文本分类的增量用户嵌入建模
本研究提出一种增量用户嵌入建模方法，通过使用转换编码器将用户的最近交互历史的嵌入动态集成到累积历史向量中，从而实现个性化用户表示的学习，并成功将其应用于 Reddit 数据集的个性化多类分类任务中，并在评论历史编码和任务建模方面相应地实现
PDF2 years ago
全局 - 局部路径网络与竖向分割深度用于单目深度估计
该研究提出了一种新的深度估计结构和训练策略，使用层次变压器编码器来捕获全局上下文，并设计轻量级但强大的解码器来生成估计的深度图，通过构建连接不同尺度的局部特征和全局解码流之间的连接路径，在分层特征融合模块的作用下，网络可以综合两种表示形式并
PDF2 years ago
CVPRSVIP: 视频过程序列验证
该研究提出了一项基于视频配对的序列验证任务，通过转换步骤以及在不使用事件级或帧级注释的情况下进行相同任务，以区分具有相同操作序列的正面视频配对和负面视频配对，并引入了一种新的评估指标来确保不同步骤级别的变换之间的等价性，并且利用基于 Tra
PDF3 years ago
COLINGESimCSE: 对无监督句子嵌入进行对比学习的增强样本构建方法
提出了一种增强的无监督句子嵌入方法 (ESimCSE)，通过简单的文本操作和动量对比，来提高 SimCSE 在句子语义相似度任务方面的性能，与已有的无监督学习方法相比表现更好。
PDF3 years ago
EMNLP面向任务的语义解析图解码
本文探讨了一种新的语义分析方法，将其表述为依存句法分析任务，应用于为句法分析开发的基于图形的解码技术。实验相同的预训练变压器编码器在 TOP 数据集上，比较了不同的解码技术，包括训练数据有限或只包含部分注释示例的情况。结果表明，与序列解码器
PDF3 years ago
Polyp-PVT：金字塔视觉变换器用于息肉分割
本文提出了基于 Transformer 编码器、三个标准模块（包括串级融合模块，伪装识别模块和相似聚合模块）的息肉分割方法，名为 Polyp-PVT。实验结果表明，该方法在人口学多样性、外观变化，甚至缺失数据方面都具有较好的鲁棒性。
PDF3 years ago
文本压缩辅助下的 Transformer 编码
本文提出了显式和隐式文本压缩方法来增强 Transformer 编码，并用这种方法评估了多个依赖于编码的典型下游任务的模型。我们提出了三种方式的集成，即骨干源侧融合，目标侧融合和双侧融合，以便于变压器基于模型集成骨干信息的各种下游任务中。与
PDF3 years ago
ACL无需跨度表示的共指消解
本篇论文介绍了一种轻量级端到端的共指消解模型，该模型不再需要手工特性和启发式算法，也省去了动态构建范围和范围对表示所需的内存，相比当前标准模型具有更简单和高效的特点。
PDF3 years ago
AAAISG-Net：语法引导变形金刚模型用于语言表示学习
本研究提出了一种基于句法导向机制的注意力机制，设计了一个语法指导的 self-attention 网络，用于自然语言处理等任务中，取得了较好的性能。
PDF4 years ago
AAAI在 Transformer 编码器中编码语法知识以进行意图检测和槽填充
本文提出了一种基于 Transformer 编码器的架构，用于意图检测和槽填充，并将句法知识编码到 Transformer 编码器中，通过多任务学习联合训练来预测每个标记的句法分析祖先和词性标注。实验结果表明，与之前最好的模型相比，我们的模
PDF4 years ago
CVPR使用 Transformer 进行端到端的人体姿势和网格重建
本研究提出了一种名为 MEsh TRansfOrmer（METRO）的新方法，该方法使用变压器编码器来同时建模顶点 - 顶点和顶点 - 关节交互，并从单个图像中输出 3D 关节坐标和网格顶点，其非依赖于任何参数化网格模型，可以轻松地扩展到其
PDF4 years ago