transformer neural network | BriefGPT

关键词transformer neural network

搜索结果 - 17

LegalTurk 多标签文本分类和实体识别的优化 BERT
我们的研究主要致力于通过预训练阶段的修改来提升法律土耳其领域内的 BERT 模型，在法律领域的两个基本下游任务中，即命名实体识别和多标签文本分类，我们的修改的预训练方法在 NER 和多标签文本分类任务中相较于原 BERT 模型展现出了显著改
PDF4 days ago
Transformer 从语言到视觉到 MOT 的发展：对基于 Transformer 的多目标跟踪的文献综述
transformer 神经网络结构通过注意力机制实现自回归的序列到序列建模，在自然语言处理和计算机视觉等领域取得了重大突破。本文综述了在计算机视觉领域中应用 transformer 的主要进展，并针对多目标跟踪 (MOT) 进行讨论，指出
PDF10 days ago
基于深度 Transformer 网络的舰载无人机单目姿态估计
通过深度 Transformer 网络，使用单目图像估计无人机相对于船舶的 6D 姿态，采用合成数据集和 2D 关键点标注，利用 Transformer 神经网络模型检测关键点并估计各个部位的 6D 姿态，并通过贝叶斯融合整合估计结果，在合
PDF21 days ago
基于 Transformer 的时间序列合成综述
在图像和语言领域，生成式人工智能已经引起了很大关注，使用转换器神经网络持续主导最新技术。然而，将这些模型应用于时间序列生成的研究尚不充分，而这对于机器学习、隐私保护和可解释性研究具有极大的实用价值。本综述通过识别转换器、生成式人工智能和时间
PDFa month ago
Transformer 网络的拓扑结构
通过拓扑理论的视角对变压器神经网络的表达能力进行理论分析，发现许多常见的神经网络架构可以嵌入到分段线性函数的前拓扑中，而变压器必须位于其拓扑完成中，并且指出这两种网络家族实例化了不同的逻辑片段：前者是一阶的，而变压器是高阶推理器，并且将其分
PDF3 months ago
基于神经变换器的巴西葡萄牙语语音声学模型
通过 Transformer 神经网络构建了一个训练于大量巴西葡萄牙语言音资料上的声学模型，使用预训练技术细调该模型并在呼吸不足检测、性别识别和年龄组分类三个任务中表现出显著提升，尤其在呼吸不足检测方面取得了迄今为止最好的结果，显示出这种声
PDF7 months ago
Transformer 神经网络架构中注意力机制的缩放点积的替代方法
通过除以键值长度之和而非平方根，我们提出了一种替代方法来缩放点积，以避免在应用 softmax 时导致梯度消失的区域。我们使用模拟的键和查询显示，这种方法在许多情况下更有效。
PDF8 months ago
通过基于 Transformer 的紧约束预测提高动力下降导引的计算效率
通过使用 Transformer 神经网络，基于降低计算复杂性的方法，解决了无人飞船精确引导问题，并将计算时间从几秒降至 500 毫秒以下。
PDF8 months ago
预训练 Transformer 中自注意力的因果解释
我们提出了 Transformer 神经网络结构中自注意力的因果解释。我们将自注意力解释为一种机制，用于估计给定输入符号（标记）序列的结构方程模型。结构方程模型可以被解释为输入序列特定上下文下的输入符号的因果结构。与潜在混淆变量相比，该解释
PDF8 months ago
ExPT: 用于少样本实验设计的合成预训练
在少样本条件下进行实验设计，ExPT 模型是一个用于少样本实验设计的基础模型，采用了合成预训练和上下文学习的新型组合，通过以目标任务的少量标记数据点为条件生成候选最优结果，从而适应任何设计任务并展现出优越的普适性和性能。
PDF8 months ago
Transformer Choice Net: 选择预测的 Transformer 神经网络
本文提出了一种适用于预测多个选择的 Transformer Choice Net 转换神经网络架构，在一系列基准数据集上，该架构相对于文献中的主流模型展现出了一致的优秀的预测性能，而不需要对每个实例进行定制建模或调整。
PDF9 months ago
CrysFormer：基于 3D Patterson 图和部分结构注意力的蛋白质结构预测
本研究提出了基于蛋白质晶体学和偏离结构信息的变压器模型来预测蛋白质的电子密度图，并通过两个新的肽片段数据集证实了方法在较小的数据集规模和计算成本下能够实现精确预测。
PDF9 months ago
一种用于复合微结构均质化的神经网络变换器模型
本研究介绍了一种计算机有效的均质化代理模型，采用变压器神经网络体系结构捕捉各种微观结构和组分的知识，预测均质化应力应变响应，以及测试了两种微观结构编码方法的性能。
PDFa year ago
COV19IR：COVID-19 领域文献信息检索
本研究通过使用 Transformer 神经网络，在 CORD-19 数据集上解决了 COVID-19 文献检索和问答的挑战，并展示了其在一些实例上的有效性。
PDF2 years ago
序列建模中应对乐观主义策略的强化学习
本研究提出了一种解决优化偏差的方法，即通过显式分离策略和世界模型，并在测试时寻找能够应对多种可能未来环境的策略，以更好地完成多种自动驾驶任务。
PDF2 years ago
面向大规模分类和弱标注音频事件同步的音频视觉转换器架构
本文报道了一种基于 transformer 神经网络的多模式音视频分类方法，具有较高的准确度，同时还证明了在某些情况下，视觉信息对这个任务是非常有用的。
PDF5 years ago
零资源语言的多语言神经机器翻译
本篇论文介绍了如何使用多语言神经机器翻译（multilingual NMT）解决低资源语种翻译问题，提出了一种基于迭代自训练的方法可以利用单语数据来提高零样本翻译的性能。实验结果表明，多语言 NMT 优于传统的双语 NMT，Transfor
PDF5 years ago