ACLOct, 2022

利用关键信息建模通过对偶微调来提高数据不足的新闻标题生成

PDF
TL;DR该论文研究了有限数据情况下的标题生成任务，提出了一种新的二元优化方法来发现关键信息和生成标题任务之间的概率对偶约束。在两个公共数据集上的实验结果表明，此方法可以有效地提高语言建模指标和信息准确性指标。
发现论文，激发创造
  • 多样化、可控、关键词感知：新闻多标题生成的语料库和方法

    本文提出了一种生成多个与关键词相关、高质量、多样化新闻标题的方法，使用多源 Transformer 解码器，并构建了第一个大规模的具有关键词意识的新闻标题语料库，并在真实数据集上进行了广泛实验比较。

    Apr, 2020

  • 基于句子优化的神经网络标题生成

    本文介绍了一种使用最小化风险训练策略的神经模型，可以在句子级别上优化模型参数，从而显著提高英文和中文新闻标题生成系统的性能。

    Apr, 2016

  • 面向资源受限的关键词生成的表示学习

    本文提出一种数据导向的方法，通过检索式语料统计信息首先确定显著信息，然后使用基于预训练语言模型的任务特定中间表示学习生成关键短语。通过在多个关键短语生成基准测试中对该方法进行实验，证明了该方法对于促进低资源关键短语生成和零 - shot 领域适应性的有效性，尤其有益于缺失的关键短语的学习。

    Mar, 2022

  • 预训练模型在多模式标题生成中的嫁接

    本文提出了一种新方法，将预训练的视频 - 语言模型中的视频编码器嫁接到生成式的预训练语言模型上，并通过跨模态和内模态关系的一致性融合机制集成不同组件，以实现多模标题的生成。经过实验证明，嫁接模型在从实际应用程序收集的全新数据集上取得了强大的结果。

    Nov, 2022

  • 提高语言理解和生成的双重推理

    该论文探讨自然语言理解与自然语言生成之间的双重关系，并在推理阶段利用其对模型进行优化，从而提高了实践应用潜力。

    Oct, 2020

  • 用于标题生成的自我注意力模型

    使用最新的 Universal Transformer architecture 和 byte-pair encoding 技巧，对新闻标题生成任务进行了优化，取得了新的最佳 ROUGE-L F1 分数 24.84 和 ROUGE-2 F1 分数 13.48，并提出了新的 RIA 语料库并在其上达到 ROUGE-L F1 分数 36.81 和 ROUGE-2 F1 分数 22.15。

    Jan, 2019

  • 低资源神经标题生成

    我们提出了新的预训练方法，以提高对于小型数据集的神经标题生成模型的质量，这些方法使所有模型参数均能够被预训练并利用所有可用的文本，相比较而言模型困惑度与 ROUGE 评估指标表现提升了 32.4％和 2.84 分。

    Jul, 2017

  • 为增强多语言新闻头条政治极性预测而设计的通识语言无关学习框架

    利用 “翻译 - 检索 - 翻译” 策略引入推理通识知识，然后将其整合到多语言预训练语言模型中以预测政治极性，证明我们的框架不受所使用的模型的影响，并具有潜力为新闻从业者、社会科学家、新闻制作人员和消费者带来好处。

    Dec, 2022

  • XL-HeadTags: 多模态检索增强的多语言新闻标题和标签生成

    通过在多语言环境下利用辅助信息，如嵌入在文章中的图像和标题，检索相关句子并利用变化来生成新闻文章的标题和标签，该研究提出了一种用于头条和实体标签生成的方法，有效地引导阅读者对感兴趣的主题有更好的访问。

    Jun, 2024

  • 生成新闻故事的代表性标题

    试图在不使用人工标注的情况下通过在不同级别上同时使用多个类型的未标注语料库和自投票方法对新闻报道进行标题生成的研究。

    Jan, 2020