EMNLPMar, 2016

探索训练优化贪心堆叠 LSTM 分析器

PDF
TL;DR使用动态 oracle（Goldberg 和 Nivre，2013）支持训练探索过程的贪婪 Stack-LSTM 依赖解析器，通过考虑训练时的模型预测而非假设无错误的动作历史，改善了英语和中文的解析准确性，在两种语言中获得了非常强的结果。我们讨论了一些修改，以便让训练探索良好工作的概率神经网络。
stack-lstmdynamic oraclesenglishchineseneural-network
发现论文，激发创造
  • 带有 Stack LSTMs 的贪婪式联合句法语义分析

    本文介绍了一种基于转换的解析器，可以同时生成句法和语义依存关系，使用长短期记忆技术来学习算法状态的表示，并具有线性时间复杂度和特征提取，是目前在同时学习语法和语义的解析模型中性能最优的一种。

    Jun, 2016

  • 基于深度强化学习的依存句法分析与回溯

    该论文研究了如何利用强化学习的方法，通过允许算法回溯并探索替代解决方案来克服自然语言处理中贪婪算法的误差传播问题，并运用于词性标注和依存分析中，表明回溯是防止误差传播的有效手段。

    Jun, 2022

  • 具有堆栈长短期记忆的基于转移的依赖句法分析

    该文提出了一种新的序列到序列神经网络控制结构 —— 堆栈 LSTM，用于学习过渡式依赖解析器的解析状态，将其应用于解析模型中，实现了解析器状态的三个方面，提高了解析性能。

    May, 2015

  • 使用双向 LSTM 进行最小特征的增量分析

    本研究利用双向 LSTM 句子表示模型以及新颖的转移系统，成功实现了依存句法和短语句法的有监督学习，达到了最先进的效果。

    Jun, 2016

  • 基于跨度的成分句法分析：结构标签系统和可证明最优动态预测

    通过使用仅包含句子跨度的最小 LSTM 特征表示的新的 shift-reduce 系统以及第一个可以证明最优的动态 Oracle，该算法的时间复杂度是摊销 O（1），相比于标准依赖解析的 O（n ^ 3）Oracle，我们在使用这个 Oracle 进行训练后，在不使用重新排名或外部数据的情况下取得了最好的 F1 分数，而句法解析准确度得到了显著提高。

    Dec, 2016

  • LLM 的高效探索

    我们提出了在改进大规模语言模型方面，通过高效探索收集人类反馈的实质性好处的证据。在我们的实验中，一个代理程序在逐步生成查询的同时，通过拟合奖励模型来获取反馈。我们最佳的代理程序使用双 Thompson 抽样来生成查询，不确定性则由一种认知神经网络表示。我们的结果表明，高效探索能够在很少的查询次数下实现高水平的性能。此外，不确定性估计和探索策略的选择都起着关键作用。

    Feb, 2024

  • 使用分层树 LSTM 进行简单优先级依赖解析

    本文提出了一种基于递归组合的循环神经网络编码器的分析树组合向量表示方法，将其作为贪心自底向上的依赖关系分析器的骨干，无需外部词嵌入，实现了英语和中文的最新精度。

    Mar, 2016

  • 通过知情策略正则化在动态环境下学习自适应探索策略

    本文研究了学习探索 - 利用策略来适应动态环境的问题，并提出了一种使用信息策略对 RNN-based 策略进行训练的新算法来规范化训练，从而显著减少了训练样本的复杂性。这种方法学习了一些探索策略，使其可以高效地平衡对于未知和变化的任务中获取信息以及随时间最大化回报的问题，并在多种环境中进行了测试。

    May, 2020

  • 通过强化学习解决误差传播问题：以贪心依存句法分析为例

    本文旨在研究在 NLP 中常见的误差传播问题，探讨如何运用强化学习技术来改善这一问题，并应用于特定的依存句法分析任务中，取得了较好的性能表现和效率优化。

    Feb, 2017

  • 将一组贪婪依存解析器提炼为一个 MST 解析器

    介绍了两个第一阶段基于图的依存解析器，第一个是通过集成学习同质模型的共识解析器，利用最小贝叶斯风险解码法和 Hamming 代价，结合集成中的不确定性评估进行训练，第二个则是将集成模型压缩成单一模型的 'distillation' 解析器，利用新颖的结构化铰链损失函数避免了普通 'distillation' 目标的不可解交叉熵，首次在英语、汉语和德语上达到或超过了现有最先进水平。

    Sep, 2016