WWWMar, 2022

语言模型是否存在抄袭问题?

TL;DR本文研究了语言模型中三种类型的抄袭行为(即逐字,改写和思想),分析了细调语言模型的抄袭模式。结果显示,语言模型存在广泛的抄袭,其大小和解码方法与抄袭程度密切相关,抄袭模式的变化取决于其语料库的相似性和同质性。这些发现提出了关于当前语言模型实践中实用性的疑虑并强调了观察到的现象的更多探讨。