transformer network | BriefGPT

关键词transformer network

搜索结果 - 54

TransformerFusion：使用 Transformer 的单目 RGB 场景重建
TransformerFusion 是一种基于 Transformer 的 3D 场景重建方法，通过 Transformer 网络处理输入的单眼 RGB 视频，将观察结果融合为代表场景的体积特征网格，最终解码为隐式的 3D 场景表示，实现精
PDF3 years ago
CSWin Transformer: 带有十字形窗口的通用视觉 Transformer 骨干
CSWin Transformer 是一种有效的基于 Transformer 网络的视觉任务骨干，并通过使用 Cross-Shaped Window 自注意机制和局部增强位置编码等设计来提高建模性能，在常见的视觉任务中展现出了竞争力。
PDF3 years ago
Skeletor: 基于骨架的 Transformer 模型用于鲁棒的身体姿态估计
本篇研究旨在解决从一张单目视频中预测 3D 人体姿态的问题，提出了一种基于 Transformer 的网络 Skeletor，通过无监督学习学习运动的三维姿态与运动分布，有效克服低分辨率、模糊运动和部分骨骼损坏等问题，同时提高了 3D 人体
PDF3 years ago
SemVLP: 多层次语义对齐的视觉语言预训练
本文提出 SemVLP 预训练方法，通过单流预训练和双流预训练相结合，使用共享 Transformer 网络和可插入的跨模态注意模块，在不同的语义层次上对图像和文本进行联合对齐，以对齐跨模态表示，实验表明该方法可对齐不同语义粒度。
PDF3 years ago
AAAI双层协作变压器用于图像字幕生成
本研究提出一种新型双层协作变换器（DLCT）网络，结合传统网格特征和目标检测网络提取的描述性区域特征，利用双向自注意力和局部约束交叉关注模块来加强区域和网格特征间的语义语境关系，进一步提高图像字幕生成的性能，并在 MS-COCO 数据集上达
PDF3 years ago
AAAI适应 Roguelike 游戏设计参数变化的 NPC 行为深度策略网络
本文提出了两种与过程生成动态变化的游戏中代理行为相关的网络结构方法，可以更好地处理复杂的分类状态空间，并减少了由于设计决策而强制重新训练的需要，从而使 DRL 更加适用于游戏产业。
PDF4 years ago
AAAI通过关注用户交互进行微博可解释的谣言检测
本文提出了一种基于注意力机制和变压器网络的带长程交互的新模型（PLAN）来检测谣言，该模型在两个谣言检测数据集上的表现优于现有最先进的模型，并且允许我们在标记级别和文章级别解释谣言检测预测。
PDF4 years ago
AAAI基于注意力机制的深度排序网络用于句子排序学习
本论文提出了一个基于注意力机制的排序框架，旨在训练模型进行句子排序和辨别任务。该框架采用双向句子编码器和自注意力变换网络以获取与输入顺序无关的段落表示。同时，它能够使用各种基于排序的损失函数进行无缝训练，并在两个任务中应用。实验结果表明，该
PDF5 years ago
学习提问以回答问题：获取 GPT-2 和 BERT 的最大优势
本文利用变压器模型和深度神经网络提出了一种有效的自动生成问题的方法，并通过 SQuAD 1.1 数据集实验证明所提出的模型可以产生语义正确且多样化的问题，并且在半监督学习中表现优异，为小数据领域内的问题生成提供了强大的支持。
PDF5 years ago
自然语言理解与生成的统一语言模型预训练
本文介绍了一种新的统一预训练语言模型 (UniLM)，该模型可用于自然语言理解和生成任务，使用了三种类型的语言建模任务进行预训练，采用共享 Transformer 网络和特定的自我注意掩码来控制预测条件的上下文，其在自然语言生成方面的表现优
PDF5 years ago
AAAI基于大型预训练语言模型的实用文本分类
本文提出利用大规模无监督语言建模与微调相结合的方法来解决情感多维度分类问题，并在 SemEval2018 Task 1:E-c 上获得竞争力和实际应用价值，成果表明这种方法可以用于真实情感分类任务。
PDF6 years ago
ICLR基于短语的注意力机制
本文提出了新颖的基于词组注意 (phrase-based attention) 的方法，将 n 个词组建模为注意机制实体，从而在 Transformer 网络中引入这种方法，结果在 WMT'16 训练数据的英德翻译任务中，分别提高了 1.3
PDF6 years ago
使用 Transformer 神经网络进行语音合成
本文尝试使用 Transformer network 和 multi-head attention 机制来解决 neural text-to-speech 中的 training efficiency 和 long range depend
PDF6 years ago
基于时序残差学习的视频行人重识别
本文提出了一种新颖的特征学习框架，用于视频中的人物再辨识，主要利用视频序列中的适当时间信息和解决运动行人的空间对齐问题，并设计了一个时间残差学习（TRL）模块和一个空间 - 时间转换器网络（ST^2N）模块。经过广泛实验验证，提出的方法在各
PDF6 years ago