Jun, 2015

段落和文档的分层神经自编码器

PDF
TL;DR该论文探索了自然语言生成的一项重要任务，并通过训练 LSTM 自动编码器来实现对多句段落的保留和重构，评估结果表明神经模型能够以一种保存句法、语义和语篇连贯性的方式对文本进行编码。
natural language generationlstm auto-encodermulti-sentence paragraphsrougeentity grid
发现论文，激发创造
  • 反卷积段落表示学习

    本研究通过提出一种基于卷积自编码的序列到序列的方法，解决了长文本序列编码与解码时 RNN 存在的问题，同时具有良好的重构和校正能力，适用于自然语言处理中众多应用。在半监督文本分类和摘要生成任务中的定量评估表明，该方法可以更好地利用长篇未标注的文本数据。

    Aug, 2017

  • 基于层级神经网络的长文档分类方法

    本文研究使用分层传递学习方法进行长文本分类，通过将数据分成块，然后传递到使用双向编码器表示的预训练通用句子编码器和 BERT 的基本模型，然后使每个块的输出表示通过包括 LSTMs 或 CNNs 的浅层神经网络来分类文本数据。使用此扩展方法对 6 个基准数据集进行评估，同时与多个深度学习算法进行比较，其中 Longformer 方法在大多数数据集上始终表现良好。

    Jan, 2022

  • 图像段落生成的卷积自编码句子主题

    本文提出了一个新的设计 —— 卷积自动编码（CAE），用于图像的主题建模 。此外，我们提出了一种架构，即 CAE 加 LSTM（称为 CAE-LSTM），通过注意机制将学习的主题集成到段落生成过程中，在 Stanford 图像段落数据集上进行了广泛的实验，并与其他先进的方法相比表现出优异的结果，尤其是将 CIDEr 性能从 20.93％提高到了 25.15％。

    Aug, 2019

  • 阅读、标记和总结：基于层次神经语义编码器的方法

    本文提出了一种基于文档精华提取的文本摘要方法，并通过引入语言因素和改进神经网络如 LSTMs 和 Neural Semantic Encoders，利用自我强化学习模型进一步提高了文本摘要的质量，实现并超越了文本摘要领域的最佳性能，其中基于分层 NSE 模型的 ROUGE 值提升近 4 个百分点。

    Oct, 2019

  • 使用分层循环神经网络进行视频段落字幕生成

    利用分层循环神经网络和时空注意力机制生成视频字幕，在 YouTube 和 TACoS 数据集上验证具有更高 BLEU 得分。

    Oct, 2015

  • 使用长短期记忆网络的深度句子嵌入：分析和在信息检索中的应用

    本文提出了一种基于循环神经网络和长短时记忆单元的句子嵌入模型，该模型能够自动侦测句子中关键词和主题，从而进行网络文档检索等艰难的语言处理任务，并在性能上显著优于现有的先进方法。

    Feb, 2015

  • 从连续空间生成句子

    本文介绍一种基于 RNN 和 VAE 的生成模型，该模型可以显式地模拟句子的整体特征，并通过分布式的潜在表示编码句子的风格、主题和高级语法特征。模型生成多样且完整的句子，能够插值生成连贯且新颖的句子，并用于填补缺失的词，同时探索了潜在句子空间的许多有趣属性。

    Nov, 2015

  • 针对视频字幕的分层边界感知神经编码器

    本论文提出了一种循环视频编码方案，可以发现和利用视频的分层结构，并且改善了电影描述数据集的现有技术结果。

    Nov, 2016

  • 从自动挖掘的同义句训练有效的神经句子编码器

    本文提出了一种无需人工标注的数据集构建方法，使用双语文本语料来 fine-tune Transformer 语言模型，并加入一个循环池层构建出有效的特定语种句子编码器，该方法在单张图形卡上使用不到一天时间训练，在波兰语的八个语言任务上实现了高性能，超越了最好的多语言句子编码器。

    Jul, 2022

  • 语音识别的长跨度语言建模

    本文探索多句子语境下神经语言模型的应用，并介绍结合了注意力机制和 LSTM 的新型模型在语音识别和长跨度语言模型方面的实验结果。

    Nov, 2019