Jun, 2024
SMLT-MUGC:小型、中型和大型文本——机器与用户生成内容的检测与比较
SMLT-MUGC: Small, Medium, and Large Texts -- Machine versus
User-Generated Content Detection and Comparison
TL;DR对于理解大型语言模型的能力和缓解可能带来的后果,识别由大型语言模型生成的文本至关重要。通过分析不同长度的数据集(小、中、大)以及比较机器学习算法在不同数据集上的性能表现,本研究发现,对于参数非常庞大(比如1542亿参数的GPT2的XL-1542变种)的大型语言模型生成的文本,使用传统机器学习方法更难检测(准确率为74%);然而,对于参数较小(不超过7.62亿)的大型语言模型生成的文本,可以以高准确率(96%及以上)进行检测。本研究还分析了人工与机器生成的文本在语言学、个性、情感、偏见和道德等多个维度上的特点,发现机器生成的文本通常具有更高的可读性和与人类道德判断相似的倾向,但在个性特征上存在差异。而支持向量机(SVM)和投票分类器(VC)模型在大多数数据集上都表现出较高性能,而决策树(DT)模型表现最低。当处理重新表述的文本时,特别是长度较短的文本(如推文),模型性能下降。本研究强调了检测大型语言模型生成的文本的挑战和重要性,并为未来研究提供了改进检测方法和理解大型语言模型细微能力的方向。