Sep, 2016

一种基于 LSTM 编码器 - 解码器模型的文本简化实验研究

PDF
TL;DR本文通过使用 LSTM Encoder-Decoder 模型实现了句子级别的文本简化，该方法与传统的基于词法规则或手动定义规则的方法相比具有更好的效果。该模型可以学习具有一定规律的操作，如反转、排序和替换，因此可以被应用于修改句子结构、替换和删除单词等文本简化中。
text simplificationdeep neural networkslstm encoder-decoder modelsentence-levellexical-level
发现论文，激发创造
  • (心理 -) 语言学特征与 Transformer 模型相遇：改进可解释和可控的文本简化

    本研究旨在通过建立使用预训练语言模型的（心理）语言学特征的透明度较高的文本简化系统来提高可解释性和可控性，并利用提前设定的十种属性，拓展一种 Seq2Seq TS 模型，使其能够明确控制多个属性。实验证明我们的方法在解释复杂度预测方面表现优异，并且通过明确地将 Seq2Seq 模型的条件限制于十个属性，其性能在领域内外环境中均有显著提高。

    Dec, 2022

  • 基于编码器 - 解码器的长短期记忆（LSTM）视频字幕模型

    本文展示了使用编码 - 解码模型来实现视频数据到文本字幕的多对多映射的方法，并讨论了数据预处理、模型构建和训练。通过对数据集的不同分割使用 2 元 BLEU 分数来评估字幕的准确性。通过特定的输出示例字幕表明模型在视频时间维度上具有通用性。预测的字幕表明在视频动作方面具有普适性，即使在视频场景发生剧烈变化的情况下。还讨论了改进句子语法和准确性的模型架构变化。

    Oct, 2023

  • 通过标记实现文本简化

    本论文介绍了一种基于序列标记的简单，高效的文本简化系统 (TST), 使用预训练的 Transformer-based 编码器，在现有系统的训练和推断中进行简单的数据增强和调整，使其不太依赖于大量的平行训练数据，提供了更多对输出的控制并实现了更快的推断速度，目前取得了基准测试数据集任务的几乎最新性能。

    Mar, 2021

  • 使用预训练编码器进行词汇简化

    本研究使用 Bidirectional Encoder Representations from Transformers (BERT) 模型，基于序列接受面向上下文、利用未标注数据训练能力，对于未知词语的语境下，对其进行了无监督的简化，显著提高了效果。

    Jul, 2019

  • 利用反向翻译和非对称去噪自编码器的半监督文本简化

    本文提出了一种基于无监督机器翻译的文本简化方法，使用 back-translation 架构和噪声自编码器生成平行语料，引入不同类型的噪声进行训练的不对称去噪方法可以显著提高简化性能。模型在无监督和半监督学习中均具备较好性能，能够与当前多种最先进的简化系统竞争。

    Apr, 2020

  • 词汇简化的深度学习方法：综述

    本文针对近几年来人工智能 / 自然语言处理 community 中深度学习的进步，特别是大型语言模型和 prompt 学习的引入，在词汇简化领域（Lexical Simplification，LS）进行了全面的研究和调查，特别关注深度学习，在具体实践中展示了该任务的子任务，并提出未来的发展方向和基准数据集。

    May, 2023

  • 论文标题：论从复杂句子到关联命题的言语感知文本简化

    在语义上意识到文本中的句子结构和上下文联系，通过将复杂句子进行拆分和重新表述，生成有语义层次的简化句子，以提高自然语言处理应用的预测质量。

    Aug, 2023

  • 无监督神经文本简化

    本文提出了第一次尝试仅依赖于未标记文本语料库进行无监督神经文本简化的核心框架，由共享编码器和一对注意解码器组成，并通过基于鉴别和去噪的损失进行简化知识的获取，并使用从 en-Wikipedia 转储的未标记文本进行训练。我们在公共测试数据上进行的分析（包括定量和定性的人类评估）表明，所提出的模型可以在词汇和句法两个级别上进行文本简化，竞争现有的监督方法。此外，增加几个标记的对也进一步提高了性能。

    Oct, 2018

  • 长短时记忆网络自动规则提取

    本文提出了一种新方法，通过追踪给定输出对 LSTM 的给定输入的重要性来识别一致重要的单词模式，从而将其简化为一组代表性短语，并基于这些短语构造了一个简单的基于规则的分类器，从而近似于 LSTM 在情感分析和问题回答上的输出。

    Feb, 2017

  • 使用 RNN 编码器 - 解码器学习短语表示，用于统计机器翻译

    本文提出了一种名为 RNN Encoder-Decoder 的神经网络模型，该模型由两个循环神经网络（RNN）组成，它将符号序列编码成固定长度的向量表示，并将该表示解码成另一个符号序列，并通过联合训练编码器和解码器来优化目标序列的条件概率，然后将该模型生成的条件概率应用于现有的对数线性模型中，从而提高统计机器翻译系统的性能，并且该模型能够学习到一种语义和句法上有意义的语言短语表示。

    Jun, 2014