BriefGPT.xyz
Ask
alpha
关键词
sparsemax
搜索结果 - 4
SLM: 稀疏可学习掩模的端到端特征选择
提出 SLM (Sparse Learnable Masks) 方法，采用了可学习的稀疏掩码，通过最大化选定特征与标签之间相互信息的方法进行端到端的特征选择，可精确控制选择的特征数，并在多个基准数据集上达到最先进的结果。
PDF
a year ago
注意力网络更具弹性吗？关于注意力网络的精确弹性验证
本研究探讨了注意力网络（ATNs）的稳健性问题，将其最大稳健性的搜索归约为混合整数二次约束规划（MIQCP）问题，并设计了两种启发式预处理方法，通过研究比较 Sparsemax-based ATNs 与 Multi-Layer-Percep
→
PDF
2 years ago
ACL
神经机器翻译的稀疏和约束注意力
本文提出了一种新颖的方法来解决 NMT 中的 “coverage problem”，通过给源语言单词分配 “fertilities” 来限制每个单词可以接收的注意力，同时提出了一种新的稀疏的注意力变换方式 “sparsemax”，并在三种语
→
PDF
6 years ago
从 Softmax 到 Sparsemax：一种注意力和多标签分类的稀疏模型
本文提出了稀疏最大函数，一种类似传统 softmax 的激活函数，但能够输出稀疏概率，并给出了其特性及其雅可比矩阵的高效计算方法，并提出了一个新的平滑且凸函数作为逻辑损失的稀疏最大函数的对应，同时也发现它与 Huber 分类损失之间的意外联
→
PDF
8 years ago
Prev
Next