语言模型是否存在抄袭问题?
最近的文献强调了大型语言模型(LLMs)与学术诚信相关的潜在风险,它们可以记忆部分训练实例并在生成的文本中无妥善归属地复制。此外,鉴于它们在生成高质量文本方面的能力,剽窃者可以利用 LLMs 生成与原作无法区分的逼真释义或摘要。为了应对 LLMs 可能在剽窃行为中的恶意使用,我们介绍了 PlagBench,这是一个综合的数据集,由三个针对不同写作领域的三个指导调整的 LLMs 生成的 46.5K 个合成剽窃案例组成。通过对每种类型的剽窃进行细粒度的自动评估和人工注释来确保 PlagBench 的质量。然后,我们利用我们提出的数据集来评估五个现代 LLMs 和三个专门的剽窃检测器的剽窃检测性能。我们的研究结果表明,与 Llama2 和 GPT-4 相比,GPT-3.5 倾向于生成更高质量的释义和摘要。尽管 LLMs 在摘要剽窃识别方面表现较差,但它们可以超过当前的商业剽窃检测器。总体而言,我们的结果突显了 LLMs 作为强大剽窃检测工具的潜力。
Jun, 2024
本文探讨了使用 T5 和 GPT-3 模型在 arXiv、学生论文和 Wikipedia 上生成机器的译文,并评估了六种自动化解决方案和一种商业剽窃检测软件的检测性能。结果表明,GPT-3 生成的译文质量可以与原始文本一样,而且难以区分真假,最佳检测模型 (GPT-3) 的 F1 分数达到 66%。
Oct, 2022
使用自然语言处理技术的对比学习方法,通过多重语义解读对大型语言模型的生成文本进行分析,达到了 94% 的准确率,在学术界检测人工智能生成的文本的抄袭和欺诈具有强大的适应性和可靠性。
Jun, 2023
本研究通过对语言模型的逐字记忆进行探索,重点关注版权文字的再分发可能性,通过对一系列热门图书和编码问题进行实验,提供了个人估计的语言模型再分发这些材料的程度。总体而言,本研究强调了进一步研究的必要性,以及对版权法规遵守的潜在影响和未来自然语言处理发展的潜在影响。
Oct, 2023
本文介绍了一种使用大型语言模型来进行各种文本主题的改写以及延申到段落级别的重述的技术。该方法表现出了良好的效果,不仅能够对句子进行改写,还能对整段文本进行处理,无需将文本划分为较小的块。
Nov, 2019
采用欧洲法律为例,本研究提出了一种系统分析方法, quantifying potential copyright infringements in large language models (LLMs)。通过使用 160 个字符的阈值和模糊文本匹配算法,研究分析了指导微调模型在真实终端用户场景中的行为和特征。该研究结果发现在几种主流的 LLMs 中对版权合规、行为特征和适当拒绝方面表现出巨大差异。
May, 2024
这篇研究论文描述了大语言模型 (LMs) 如何通过增加模型容量、重复数据示例次数以及提示模型的上下文数量等因素持续增长来记忆其训练数据的程度。然而,该记忆过程会导致隐私泄露、降低数据质量并且存在不公平性问题,因此有减轻该问题的必要,尤其随着模型的规模持续增长,需要采取积极的对策。
Feb, 2022
本篇研究展示了当前语言模型(LLMs)产生的文本检测器的可靠性不足,并提出了模仿攻击和伪造攻击等问题,强调了在使用 AI 生成文本时的伦理和可靠性问题。
Mar, 2023