self-attention network | BriefGPT

关键词self-attention network

搜索结果 - 16

注意损失调整的优先经验回放
提出一种 Attention Loss Adjusted Prioritized (ALAP) Experience Replay 算法，结合改进的 Self-Attention 网络和 Double-Sampling 机制，用于拟合超参数
PDF10 months ago
Transformer 中 ReLU 和 Softmax 的研究
本文研究了 Transformer 模型的架构，介绍了自注意力机制和前馈神经网络，并重建了 ReLU 和 Softmax 之间的关系，提出了使用额外层归一化模块的 Softmax 和 ReLU 相等的概念。此外，研究发现 ReLU 可以处理
PDFa year ago
VLSNR: 基于视觉语言协调和时序感知的新闻推荐
提出了一种视觉 - 语言坐标时间序列新闻推荐方法，基于预训练的多模型编码器，应用自注意力网络学习时间顺序。通过构建的大规模多模式新闻推荐数据集 V-MIND 验证了该方法的优越性。
PDF2 years ago
ECCVAudioScopeV2：音视频注意力架构的开放域屏幕声音分离校准
AudioScopeV2 是一个最先进的通用音频视觉屏幕上声音分离系统，能够通过观察野外视频来学习分离声音并将它们与屏幕上的对象关联起来，并提出了解决先前工作的若干限制的解决方案，并通过新的数据集进行评估，最终取得了显着的改进。
PDF2 years ago
SIGIR带有候选集感知用户建模的新闻推荐
提出候选感知的用户建模方法，结合候选新闻进行模型训练，以提高个性化新闻推荐的效率。实验表明该方法有效提升了新闻推荐性能。
PDF2 years ago
神经解释器的动态推理
本研究提出了一种名为神经解析器（Neural Interpreters）的架构，它将自我关注网络中的推理分解为一组模块，可以在宽度和深度上灵活地组成计算，并可在训练后进行容量扩展。我们的实验表明，该架构在图像分类和视觉抽象推理方面表现出了很
PDF3 years ago
COLING用于论文评审评估推荐的分层双向自注意力网络
本文提出了一个基于层次自注意力网络框架（HabNet）的论文审阅评级预测和推荐方法，该方法能够作为学术论文审阅过程的有效决策工具，并通过三级编码器中的分层结构来识别有用的预测器，以及帮助发现评审者所传达的数值评级和文本情感之间的不一致性，进
PDF4 years ago
块同步束搜索流式 Transformer 自动语音识别
本文提出一种基于块处理编码器的流式 E2E Transformer ASR 的新型分块同步束搜索算法，并在多项实验中的表现均优于传统的在线方法，特别是在使用知识蒸馏技术时。
PDF4 years ago
语音识别和直接翻译的相对位置编码
通过在自注意力网络中采用相对位置编码方案，我们成功地让 Transformer 模型适应了语音数据的分散分布特点，并在 Switchboard 基准测试中获得了最佳识别结果，也在 MuST-C 语音翻译基准测试中获得了最佳出版结果，并且我们
PDF4 years ago
CVPR基于规范化和几何意识的自注意力网络在图像字幕生成中的应用
本文提出改进的归一化自注意力网络，并针对 Transformer 处理对象几何结构的局限性，引入了一种几何感知自注意力机制，将两个模型结合应用于图像字幕任务并在 MS-COCO 数据集上取得了优异实验结果，同时在视频字幕，机器翻译和视觉问答
PDF4 years ago
WWW学习使用贴图进行回应：一种统一多模态多回合对话的框架
本研究提出了一种基于多轮对话历史上下文的贴纸响应选择器（SRS）模型，无需外部标签即可推荐适当的贴纸，并使用卷积神经网络、自注意力网络和交互网络等技术实现了对话历史中贴纸的表示和匹配，实验结果表明该模型在常用指标上达到了最先进的性能。
PDF4 years ago
基于自注意力网络的基于骨骼的人体动作识别
提出三个 Self-Attention 网络的变体来提取高层语义，其中将 Temporal Segment Network 应用于变体以获得更好的性能，通过广泛的实验评估，探索了不同配置和表现更好的方法。
PDF5 years ago
Speech-XLNet: 用于自我注意力网络的无监督声学模型预训练
本文提出了一种无监督预训练方案 “Speech-XLNet”，利用 XLNet 进行自注意力网络（SAN）无监督预训练得到语音表示，可以在混合 SAN / HMM 框架下微调。实验表明，Speech-XLNet 相比于从随机初始化权重训练的
PDF5 years ago
基于显著性引导的自注意力网络用于弱监督和半监督语义分割
该论文提出一种基于自注视网络和显著性先验的半监督语义分割模型，能够准确地定位并分割图像区域，且在 PASCAL VOC 2012 上的表现优于目前所有其他先进方法。
PDF5 years ago
AAAISG-Net：基于句法引导的机器阅读理解
本文提出使用句法来指导文本建模，通过将显式的句法约束融入到注意机制中，设计出了一种句法导向的自注意力网络 (SG-Net)，并将其应用于预训练语言模型 BERT 中，实验结果表明，SG-Net 设计相对于强基线模型在 SQuAD 2.0 和
PDF5 years ago
WSDMNAIRS：一种神经注意力识别推荐系统
本文介绍了一种名为 NAIRS 的神经注意力可解释推荐系统，它采用自注意网络作为主要组成部分，使用注意力机制对用户交互物品进行加权，能够个性化高质量地进行推荐并提供视觉提示来解释推荐，演示应用程序能够与推荐系统进行交互并不断收集训练数据来改
PDF5 years ago