Feb, 2022

学术出版物中自动生成文本检测基准语料库

PDF
TL;DR本研究提出两个数据集，一个完全由 GPT-2 模型生成的合成数据集和一个部分用 Arxiv-NLP 模型生成的文本替换数据集，评估数据集的质量，难度以及分类模型的区分能力。
automatic text generationneural language modelsresearch contentdatasetsquality evaluation
发现论文，激发创造
  • 检测虚假生成的科学摘要

    本研究基于 GPT-3 模型自动生成科学论文摘要，通过机器学习模型结合多种文本表示方法来辨别机器生成文本，并分析模型性能及讨论相关研究问题，旨在揭示人工智能生成文本的能力和局限性。

    Apr, 2023

  • AI 生成文本检测工具测试

    本研究针对学术环境中使用人工智能生成文本的潜在风险进行研究，发现现有的人工智能生成文本检测工具准确性和可靠性都有问题，并且在检测时存在偏向于将 AI 生成文本归类为人类写作。同时，内容混淆技术也会显著降低检测工具的性能。

    Jun, 2023

  • 机器生成文本的检测：文献综述

    研究概述了语言模型产生的虚假文本、媒体关注度、自然语言生成、社会意义等关键词，同时探索了机器产生文本的趋势和更大的社会影响。

    Jan, 2024

  • 当自动评估遇上自动内容生成：审视 GPT 时代的文本质量

    基于机器学习模型对文本数据进行评分的使用已广泛应用于自然语言处理、信息检索、搜索和推荐以及在线内容的可信度评估等领域。这项研究通过实证评估以人工创作和生成预训练变换器（GPT）的文本评估模型之间的差异，发现转换器预训练语言模型（PLM）相对于传统的深度学习和基于特征的机器学习模型更准确地评分人工文本质量，但相对于人工创作的文档，GPT 生成的文本评分平均要高出 10-15％。这一研究对于文本分类设置中的自动评分受到生成 AI 的干扰具有重要的意义。

    Sep, 2023

  • 用于监督文本分析的合成文本

    本文介绍了受控产生合成文本的方法，以解决政治科学家在使用受监督文本模型方面面临的挑战。作者用三个应用程序证明了合成文本的实用性，包括生成描述乌克兰战斗的虚拟推文，为训练事件检测系统的合成新闻文章，以及训练句子级民粹主义分类器的多语言语料库。

    Mar, 2023

  • 威胁模型和检测方法的综合调研

    本文是关于机器生成文本和自然语言生成领域的综述。研究表明，机器生成文本与人类作者的文本越来越难以区分，因此我们讨论了现代自然语言生成系统带来的威胁模型，并对文本检测方法进行了最全面的综述。本文进一步讨论了机器生成文本的安全和社会背景，并提出了在未来工作中需要考虑的最关键威胁模型，以及确保检测系统本身通过公正、稳健和负责任的方式展示其信任性。

    Oct, 2022

  • 改述检测：人类与机器内容

    本文旨在分析大型语言模型如 GPT-4 和 ChatGPT 等的语言生成和改写能力的特点和限制及其对学术诚信的挑战，探讨人工改写和机器改写之间的区别，并对常用的数据集进行综合分析和评估，结果显示自动生成文本的水平仍不及人类普及水平，适合于语义多样性语料的 TF-IDF 方法的效果最好，同时，发现了四个语义多样性和挑战性最高的数据集。

    Mar, 2023

  • 无监督和分布式检测机器生成文本

    本文提出一种针对机器生成文档与人工撰写文档进行区分的无监督学习方法，通过利用高阶 n 元模型进行分类，并使用疑似标注文档来训练分类器的集合，成功实现了对疑似机器生成文档的准确评估，并且该方法可适用于各种规模的大型语言模型。

    Nov, 2021

  • SynSciPass: 检测科学文本生成的合适用途

    该研究提出了对机器生成文本进行检测的方法，通过标记不同种类的技术使用，提高了模型的泛化性能，为科学领域的手稿审查提供了一种更加灵活的方式，但现有数据仍然有限，仍需进一步研究。

    Sep, 2022

  • 深入探究 AI 生成摘要的语言特点

    ChatGPT 生成语言模型的研究中，自动生成的文本需要自动识别以保持信息的透明度和可信度。本研究中，我们试图检测 ChatGPT 生成的摘要，通过提取文本的语义和词汇特性，并观察到传统机器学习模型能够自信地检测这些摘要。

    Dec, 2023