Jun, 2022

俄文文本自动摘要：抽取式和抽象式方法的比较

PDF
TL;DR本文研究使用翻译的微文本、劝说性文章和 UKP 句子语料库的版本来微调 RuBERT 模型，然后使用此模型对经济新闻语料库进行注释，进而微调 ruGPT-3 模型，生成论证文本，并证明这种方法可以使论证生成的准确性提高超过 20 个百分点（63.2％与 42.5％相比）
language modelstext generationargumentationannotated corpusfine-tuning
发现论文，激发创造
  • 经济领域的辩证文本生成

    本文介绍了如何利用 RuBERT fine-tuning 技术以及经过语言标注的经济新闻语料库来优化 ruGPT-3 模型，从而提高俄文下生成文字的准确率。

    Jun, 2022

  • ArguGPT: 评估、理解和识别由 GPT 模型生成的论证性文章

    本文介绍了 ArguGPT 数据集，分析了由大型语言模型生成的英文论述文章的语言学特征，以及用于检测 AIGC 的现有和新型检测器的性能，其中使用的 RoBERTa 检测器在 essay 和 sentence 级别均可达到 90% 以上的准确率。

    Apr, 2023

  • 自动新闻摘要

    本研究论文针对新闻文本自动摘要的抽取和生成方法进行了广泛的比较评估，重点分析了 ROUGE 分数。研究使用 CNN-Daily Mail 数据集，包括新闻文章和人工生成的参考摘要。通过 ROUGE 分数评估生成摘要的效果和质量，再将表现最佳的模型整合到 Web 应用程序中，评估其在真实世界中的能力和用户体验。

    Oct, 2023

  • RuArg-2022: 论点挖掘评估

    本文是 Dialogue 会议对针对新冠疫情（疫苗、隔离和戴口罩）话题的社交媒体评论进行第一次俄语言论分析系统及其竞赛的组织者报告，由 NLI 变体的 BERT 体系结构获胜，希望为俄文文本的论证挖掘研究提供帮助。

    Jun, 2022

  • 自动摘要俄罗斯新闻的数据集

    本文介绍了 Gazeta 数据集，它是用于俄语新闻报道的第一个自动文本摘要数据集，并对其进行了扩展性和抽象性模型的基准测试和评估。结果表明，该数据集适用于俄语文本摘要任务，并且预训练的 mBART 模型可用于俄语文本摘要。

    Jun, 2020

  • 德国（抽象）文本摘要情况

    本研究评估了德语抽象文本摘要的特定现状，并调查现实情形下为什么有效的抽象文本摘要解决方案在工业界仍然缺失。我们的重点是分析训练资源和公开可用的摘要系统，并发现现有的数据集和系统存在极大的缺陷和评估偏差。此外，我们发现现有的系统经常不能与简单的基准线进行比较，并且忽略了更有效和高效的摘要方法。

    Jan, 2023

  • 自动生成排名的俄语改述语料库用于文本生成

    本文是关于用于俄语释义生成的大规模语料库进行自动开发和排名的，提出了 ParaPhraser Plus 数据集以解决目前该领域小规模的语料库难以在文本生成中应用的问题，并使用 Universal Transformer 架构进行了实验。

    Jun, 2020

  • Collocation2Text: 俄语中从指南短语控制生成的文本

    该论文探讨了一种用于俄语的自动可控文本生成的插件式方法，不需要微调。基于两个相互作用的模型：自回归语言 ruGPT-3 模型和自编码语言 ruRoBERTa 模型。该方法通过改变自回归模型的输出分布来确保文本中叙事向指南短语的连贯过渡，其有效性在新闻文章生成实验中得到了验证。

    Jun, 2022

  • 语言模型的批判性思维

    本文提出了一种针对神经自回归语言模型的批判性思维课程的初步探索，为此我们介绍了一种综合语料库，并生成人工辩论文本进行训练和评估。结果显示，在核心辩论中进行预训练能够显著提高语言模型的推理能力。本文中介绍的人工辩论文本是构建 “语言模型的批判性思维课程” 的一个有前途的起点。

    Sep, 2020

  • 基於 Transformer 語言模型的抽取式和生成式神經文件摘要

    本文采用神经抽象总结的方法来产生长文档的抽象总结，该方法使用一个简单的抽取步骤来生成一个摘要，然后将其用作相关信息的转换器语言模型的条件，然后生成一个摘要。我们展示了这个抽取步骤显著地改善了总结结果，而且这种方法产生的抽象总结比以前采用复制机制的工作能够实现更高的浸润得分。

    Sep, 2019