Oct, 2022

简化特征提取器可避免神经语篇分析模型的过拟合

PDF
TL;DR利用自我注意机制和预训练神经语言模型来简化特征提取器，缓解过拟合问题，并在三种常见的语篇分析任务上进行实验，得出了更好的泛化性和相当甚至更好的系统性能的结论。
self-attention mechanismneural language modelsdiscourse parsingfeature extractorsoverfitting
发现论文，激发创造
  • Transformer 的抽取式摘要真的需要那么多参数吗？语篇可以提供帮助！

    该研究提出了一种基于文档级语篇信息的参数轻量级自我关注机制，相比原始转换器模型在参数数量上实现了显著减少，并在提取性摘要任务上实现了有竞争力的 ROUGE 分数。

    Dec, 2020

  • 注意力已不再是唯一需求

    该论文提出了一种自注意力机制的替代方案，称为 “Extractor”，通过将自注意力机制替换为 “Extractor” 可以提高 Transformer 模型的性能，并且 “Extractor” 具有比自注意力更短的计算路径，从而有潜力在速度上更快地运行。此外，论文还通过基于变长离散时间马尔可夫链的文本生成场景下的序列预测问题对 Transformer 进行了回顾。

    Aug, 2023

  • 使用双向 LSTM 进行最小特征的增量分析

    本研究利用双向 LSTM 句子表示模型以及新颖的转移系统，成功实现了依存句法和短语句法的有监督学习，达到了最先进的效果。

    Jun, 2016

  • 借助所有先前的特征提取器，在连续学习中保留之前的知识

    本文提出了一种利用所有之前学习的特征提取器的融合机制，并加入新的特征提取器和剪枝来防止模型膨胀，以降低早期学习旧知识的遗忘，从而有效改善连续学习性能表现。在多个分类任务上实验表明，该方法可以显著减少旧知识的遗忘，实现最先进的连续学习性能。

    Apr, 2021

  • 神经成分句法分析器的研究分析

    研究了现代和经典的组成分析方法的差异，以及神经网络在此领域的应用。高性能的神经模型代表了最新的工作，实验发现该模型隐式编码了过去语法和词汇表明确提供的信息，暗示这种支撑可以被强大的通用神经机制取代。

    Apr, 2018

  • 自注意力编码器进行的组成成分句法分析

    通过将 LSTM 编码器替换为自注意力机制，能够提高最先进的判别型成分解析器的性能，特别是当用预训练的字词表示时，而且这种方法在 SPMRL 数据集的大部分语言上的性能优于以前的最佳结果。

    May, 2018

  • Few-shot 图像分类：使用预训练特征提取器库和简单分类器

    本研究探讨使用预训练特征提取器的集成方法来解决跨域少样本图像分类问题，实验结果表明这种简单且高效的方法在多个少样本任务上都能胜过复杂的元学习算法。

    Jan, 2021

  • 一种简单且强大的端到端神经 RST 风格篇章分析基线

    本篇论文探讨了一种强有力的基准线，通过将现有的简单解析策略（自上而下和自下而上）与各种基于 Transformer 的预先训练的语言模型进行集成，实现了 RST 风格的话语解析模型的推广和进一步发展。实验结果表明，解析性能强烈依赖预先训练的语言模型，尤其是 DeBERTa 对自下而上解析器表现的大幅提升。此外，我们还发现具有跨度屏蔽方案的语言模型特别能提高解析性能。

    Oct, 2022

  • 令人尴尬的简单无监督方面提取

    本文提出了一种简单而有效的方法，利用词向量和 POS 标注器实现情感分析中的方面识别，引入了一种基于 RBF 内核的新型单头关注机制 Contrastive Attention (CAt)，避免使用句法特征和复杂神经模型，成功证明了在当前基准数据集中不需要使用这样的复杂模型。

    Apr, 2020

  • 建模多粒度分层特征以进行关系提取

    本篇论文提出了一种基于原始输入句子提取多粒度特征的新方法，该方法包含实体提及级别、片段级别和句子级别三种特征，并采用层次化建模方法，以解决自然语言处理中的关系提取问题，实验证明该模型性能优于甚至使用外部知识的现有最先进模型。

    Apr, 2022