Oct, 2016

序列标注中跳连结的实证探索

HTML
PDF
TL;DR本文探讨了在双向LSTMs中使用不同类型的跳跃连接对于序列标注的影响，并通过全面实验发现跳跃连接到细胞输出优于其他两种方法。此外，本文还注意到使用带门控的恒等函数作为跳跃映射可以获得很好的效果。基于这些新颖的跳跃连接，我们成功地训练了深度堆叠的双向LSTM模型，并在CCG超级标记上获得了最新的成果，在POS标记上获得了可比较的结果。
发现论文，激发创造
  • 序列标注的双向LSTM-CRF模型

    本文研究了基于LSTM模型的序列标注技术，通过引入双向LSTM和条件随机场(CRF)层提高了模型的准确性和鲁棒性，实现了对POS、chunking和NER等序列标注数据集的最先进性能。

    Aug, 2015

  • 双向LSTM-CNNs-CRF的端到端序列标注

    本文提出了一种新颖的神经网络体系结构，该体系结构利用了双向LSTM，CNN和CRF的组合，自动地从单词和字符级别表示中受益。我们的系统是真正的端到端的，不需要特征工程或数据预处理，因此适用于广泛的序列标注任务。我们在两个数据集上对我们的系统进行了评估，即Penn Treebank WSJ语料库用于词性标注和CoNLL 2003语料库用于命名实体识别。我们在这两个数据集上获得了最先进的性能 - 词性标注的准确率为97.55％，命名实体识别的F1值为91.21％。

    Mar, 2016

  • 双向长短时记忆模型与辅助损失实现的多语言词性标注

    本研究采用词、字符和Unicode字节嵌入比较bi-LSTM和传统的POS标注器，在22种语言中取得了最优性能，并表明bi-LSTM对于训练数据大小和标签污染的敏感度被过高估计。

    Apr, 2016

  • 层级递归网络在序列标注中的迁移学习

    本文研究了神经网络在序列标注任务上的最优表现及其通用性，接着讨论了序列标注中的迁移学习问题，并验证了将源任务应用于目标任务可以大幅提高性能，从而超越了多个经典任务的最优表现。

    Mar, 2017

  • 报告评分分布很重要：LSTM网络的序列标记性能研究

    本文探讨了单一性能评分不足以比较非确定性方法的问题，并通过对序列标记任务的实验表明，随机数种子的选择可以导致最先进系统的F1得分的绝对差异，提出通过多次执行比较分数分布的方法，通过五项序列标记任务的实验，提出了产生优越性能和更稳定的网络体系结构。

    Jul, 2017

  • 网络嵌入作为矩阵分解：DeepWalk、LINE、PTE和node2vec的统一

    本研究提出了NetMF方法，通过矩阵分解的方式实现skip-gram网络嵌入方法的统一框架，并将各种经典的skip-gram方法（DeepWalk、LINE、PTE和node2vec）统一到该框架下。此方法是目前常规网络挖掘任务中优于DeepWalk和LINE的最新算法。

    Oct, 2017

  • 使用深度预训练模型和贝叶斯不确定性估计进行序列标注的主动学习

    本文研究在序列标注上采用迁移学习和主动学习来减少注释预算的可行性，并通过Bayesian不确定性估计方法和Monte Carlo Dropout选项在深度预训练模型的主动学习框架中进行了广泛的实证研究，并发现了不同类型模型的最佳组合。此外，我们还展示了在主动学习期间获取实例的全尺寸Transformer可以被替换为简化版本，这可以提供更好的计算性能，降低了应用深度主动学习的障碍。

    Jan, 2021

  • 将跳过连接模型重新构思为可学习的马尔可夫链

    本文提出了可学习的马尔科夫链理论来解释残差神经网络中跳跃连接的行为，并通过引入罚式连接来使模型更加高效。实验结果表明，该方法在多模式翻译和图像识别任务中有着优异的表现。

    Sep, 2022

  • 线性化解析在词性标注中的价值 - 然而对错误抱有一些烦恼

    研究表明，在深度学习背景下，词性标注对于语法分析的作用有限，唯有当标注准确率非常高或资源非常匮乏时才有所帮助；而对于序列标注分析模型而言，词性标注的影响取决于编码方式等因素，其中基于词性的头选择编码方式仅在标注准确率和资源可用性均很高时表现最佳。

    Oct, 2022

  • 重新审视Skip-Gram负采样：在图嵌入中进行尺寸正则化以实现更高效的差异性保留

    将节点吸引和维度规范化作为替代方法的图嵌入优化技术，从而提高算法效率。

    Apr, 2024