softmax layer | BriefGPT - AI 论文速递

关键词softmax layer

搜索结果 - 9

WSDM拷贝还是不拷贝：神经序列推荐模型中的输出 Softmax 层是一个关键问题
最近的研究表明，现有的神经模型在处理顺序推荐任务中的重复项目时存在困难。然而，我们对这个困难的理解仍然有限。通过识别问题的主要来源 —— 输出 softmax 层中的单一隐藏状态嵌入和静态项目嵌入的相似性结构，本研究在该领域取得了显著的进展
PDF9 months ago
关于部分标签学习中的无偏探索
使用标准神经网络结构和 softmax 作为最终层从部分标记的监督中学习概率分类器，根据实验发现原模型可能存在偏差现象，导致梯度下降动力过于敏感而不能进行正确的探索，因此提出一种新型的损失函数来解决这个问题，并在合成数据、部分标注基准和现存
PDFa year ago
ACL再探类指针网络架构以有效改善下一个单词的分布，摘要真实性及其他方面
本研究发现传统的语言模型中的 Softmax 层有瓶颈，使用 Pointer Networks 可以更高效地预测下一个单词的概率分布，并提出了多种简化 Pointer Networks 的方法，实验表明在 GPT-2 中应用这些方法可以显著
PDFa year ago
探究 softmax 层中的核函数用于上下文单词分类
研究了在上下文词分类中使用内核函数代替内积函数的效果，通过在标准的语言建模和机器翻译任务上进行实验，探讨了不同内核设置对性能的影响，并研究了梯度属性、混合策略和消歧能力。
PDF5 years ago
针对深度模型的目标无关攻击：利用迁移学习的安全漏洞
该论文研究了在迁移学习中使用公共预训练模型会存在安全漏洞的问题，因为攻击者可以使用基于暴力破解的方法，通过已知的预训练模型，生成能够触发目标分类器的实例，从而破解安全防护措施。此外，论文也提到了 Softmax 层的基本安全漏洞。
PDF5 years ago
大词汇神经网络快速 Softmax 推理的筛选学习
在本文中，我们介绍了一种利用上下文向量的聚类结构的软最大似然层逼近算法，在移动设备上比传统方法具有更快的推理速度。我们使用 Gumbel softmax 对筛选模型进行端到端训练，通过在各种 NLP 任务中对前 k 个单词进行预测，实现了一
PDF6 years ago
采用图表示法导航，快速可扩展解码神经语言模型
提出一种名为 Fast Graph Decoder (FGD) 的 softmax layer 近似算法，可快速识别给定上下文中最可能出现的 K 个单词，从而减少解码时间并保持接近全 softmax 基线准确率，在神经机器翻译和语言建模任务
PDF6 years ago
卷积原型学习的鲁棒分类
本文提出了一种新的学习框架，称为卷积原型学习（CPL），以处理卷积神经网络（CNN）对开放世界识别问题的鲁棒性不足，其中采用了多个分类标准进行网络训练，提出了原型损失（PL）作为正则化以改善特征表示的内部类紧凑性，在多个数据集上实验表明 C
PDF6 years ago
使用 Dropout 正则化从嘈杂标签中学习深度网络
该篇论文提出了一种纠正深度神经网络中标签不准确的技术：通过增加一个噪声模型的 softmax 层，采用端到端的随机梯度下降来优化网络以及噪声模型，借助 dropout 正则化防止噪声模型过于简单。在 CIFAR-10 和 MNIST 数据集
PDF7 years ago