EMNLPMay, 2020

循环神经网络中的池化分析：何时以及为何应该使用池化？

PDF
TL;DR本论文研究使用 Pooling 的循环神经网络（Recurrent Neural Architectures）相对于不使用 Pooling 的神经网络有更好的性能的原因。作者发现，不同的 Pooling 技术的效果有所不同，并提出了一种新的 max-attention 方法，在文本分类任务中表现更好。
pooling-based recurrent neural architecturesmax-attentiongradient flowpositional biastext classification
发现论文，激发创造
  • 用广义池化增强句子嵌入

    本篇论文探讨了推广汇聚方法以增强句子嵌入，我们提出了基于向量的多头自注意力池化方法，该方法包括广泛使用的最大池化、平均池化和标量自注意力池化作为特殊情况，该模型通过适当设计的惩罚项减少多头注意力中的冗余，并在自然语言推理、作者配置文件和情感分类等三个不同任务上对提议模型进行了评估，实验表明，所提出的模型相对强的基于句子编码的方法实现了显著的改进，在四个数据集上呈现出最新技术水平。

    Jun, 2018

  • 将双向 LSTM 与二维最大池化相结合改进的文本分类

    本研究探讨了使用二维 Max 池化和卷积方法来集成时间步维度和特征向量维度上的文本特征，结果显示，在六个文本分类任务中，所提出的模型在四个任务上都达到了非常优秀的性能表现。

    Nov, 2016

  • Max-Pooling 网络的优化和泛化分析

    在深度学习中，池化操作是卷积网络的核心组成部分，可以自然地处理模式检测问题，但是我们没有从理论上理解何时可以进行全局优化，过参数化对泛化的影响是什么。本论文在一个受 “判别式” 和 “虚假” 的模式检测问题启发的数据生成分布下，对卷积最大池化架构进行理论分析，证明可以进行全局优化，即使是高度过参数化的模型，也可以很好地泛化，并通过实验证实，CNN 在此设置中明显优于全连接网络。

    Feb, 2020

  • 不要以最后一层来评估语言模型：分层注意力池化对比学习

    该论文介绍了一种基于注意力池化策略和对比学习目标的方法，可以从预训练的语言模型中提取语言学特征和层次信号，用于下游任务，并在语义文本相似度和语义搜索任务中取得了显著提升。

    Sep, 2022

  • 卷积神经网络中广义池化函数：混合，门控和树

    通过泛化池化操作来提高深度神经网络的表现，我们提出了两个主要方向：(1) 通过最大池化和平均池化的组合策略来学习池化函数，(2) 学习一种树形融合池化滤波器的池化函数。实验表明，这些泛化的池化操作比传统的池化操作具有更好的不变性，并在多项广泛采用的基准数据集上创造了最优性能。

    Sep, 2015

  • 基线模型的重要性：简单的基于词嵌入的模型及其相关池化机制

    本文对比了基于简单词向量嵌入的模型（SWEMs）、基于词向量的 RNN/CNN 模型以及两种额外的词嵌入池化策略在 17 个数据集上的性能，研究发现在多数情况下，SWEMs 具有相当甚至更好的表现，且提出的两种池化策略在长文本分类任务上表现优异。

    May, 2018

  • Subword 池化有所不同

    探讨分词和子词池化对两个大规模多语言模型在词汇计量、词性标注和命名实体识别等三个任务中的影响，并提出使用小型 LSTM 模型对子词进行池化处理的最佳方案。

    Feb, 2021

  • 自适应上下文池化的高效表征学习

    该研究提出了 ContextPool，一种自适应的注意力机制，用于增强在 transformer 模型中的自注意力机制，实现了更强的性能表现（在语言和图像基准测试中），达到了最新的研究结论，并适用于卷积神经网络进行高效的特征学习。

    Jul, 2022

  • 广义的无序汇聚执行隐式显著匹配

    提出了一种泛化的 alpha-pooling 方法，可以在训练中学习汇编策略，同时引入一种有效的决策可视化方法来分析语义组成对决策的影响，实验证明这个方法可以在各种标准数据集上优于传统的的平均池化和双线性池化方法。

    May, 2017

  • 图分类池化架构搜索

    本文介绍了使用神经架构搜索技术搜索适当的池化方法用于图分类问题，并提出了一个可以涵盖现有人工设计的池化方法的框架，并在此框架上设计了一个新的搜索空间，在六个真实世界的数据集上做出了有效和高效的实验。

    Aug, 2021