Apr, 2023

对 ChatGPT 文本注释和分类可靠性的测试：一则警示

PDF
TL;DR该研究调查了 ChatGPT 在零 - shot 文本标注和分类任务中一致性的表现，包括模型参数、提示变化和相同输入的重复。结果显示 ChatGPT 的分类输出的一致性可能低于可靠性的科学阈值，并警告使用 ChatGPT 的谨慎性。建议进行彻底的验证，例如与人类注释数据的比较，并不推荐使用 ChatGPT 进行无监督文本标注和分类。
chatgpttext annotationtext classificationreliabilityzero-shot
发现论文，激发创造
  • 聊天机器人不可靠的文本标注工具

    对比研究发现，ChatGPT 和开源语言模型在标注社会科学研究中的文本任务中表现存在显著差异，而监督分类模型一贯表现更优，因此不建议在社会科学研究中使用 ChatGPT 进行实质性的文本标注任务。

    Nov, 2023

  • 探究 ChatGPT 在内容排序方面的能力：一项关于与人类偏好的一致性的初步研究

    本研究评估了 ChatGPT 在内容排序方面的能力，结果表明 ChatGPT 的排序偏好与人类的一定程度上一致。这证明了它具有一定的‘zero-shot ranking’能力，有潜力在许多排序任务中减轻注释压力。

    Mar, 2023

  • ChatGPT 是否能够复现人类生成的标签？社交计算任务的研究

    该研究探讨了 ChatGPT 等大型语言模型是否有潜力在社交计算任务中复制人类生成的标签注释，并使用 ChatGPT 重新标注了五个具有里程碑意义的数据集，证明了它在数据注释方面具有潜力，但仍存在挑战。

    Apr, 2023

  • ChatGPT 优于人工工人在文本注释任务中的表现

    本研究使用 2382 个推文的样本表明，ChatGPT 在多个数据标注任务方面表现优于众包工人，特别是零 - shot 准确率，且其内部编码者间一致性超过了众包工人和训练有素的注释员，而其标注成本比 MTurk 便宜二十倍左右，这些结果表明大型语言模型在文本分类方面大大提高了效率。

    Mar, 2023

  • 在 ChatGPT 中我们信任吗？测量和表征 ChatGPT 的可靠性

    本篇论文对 ChatGPT 进行了可靠性的大规模实验，在 8 个领域的 5,695 个问题数据集中发现 ChatGPT 的性能变化较大，尤其在法律和科学方面表现不佳，还指出了 ChatGPT 的系统角色和对抗性样例都会影响它的可靠性，这是加强大型语言模型可靠性和安全性的必要性。

    Apr, 2023

  • ChatGPT 的一致性分析

    我们调查了 ChatGPT 的可靠性和逻辑一致性。发现虽然 ChatGPT 在语言理解能力方面有所提高，但它仍经常无法生成逻辑上正确的预测；因此，我们得出结论：在没有充分人工检查的情况下，在真实世界的风险敏感领域中使用 ChatGPT 需要进一步考虑。

    Mar, 2023

  • ChatGPT：手动语言数据注释终结的开端？ 自动流派识别的用例

    本文研究将 ChatGPT 用于零样本文本分类，重点是自动体裁识别，结合多语言 XLM-RoBERTa 进行测试，结果表明，ChatGPT 在没有看到的数据集上表现优异，在斯洛文尼亚语中的表现不逊于英语，在全语境下表现下降，表明它在较小语言上的使用仍有局限性。

    Mar, 2023

  • ChatGPT 是否是一个良好的个性识别器？初步研究

    ChatGPT 使用零样本的思维链式引导在文本上展示了令人印象深刻的人格识别能力，而在识别人格时，还展示了对某些敏感人口属性（如性别和年龄）的不公平性。

    Jul, 2023

  • 关于基于训练的 ChatGPT 检测方法的泛化性

    ChatGPT 是最流行的语言模型之一，在各种自然语言任务上表现出色。本研究的目的是全面调查这些方法在分布偏移下的泛化行为，包括提示、文本长度、主题和语言任务，从而为 ChatGPT 检测的未来方法或数据收集策略的开发提供指导。

    Oct, 2023

  • ChatGPT，还是不 ChatGPT：这是一个问题！

    本研究的主要目的是提供 ChatGPT 检测的最新技术的全面评估，同时我们评估了其他 AI 生成的文本检测工具，以检测 ChatGPT 生成的内容。此外，我们还创建了一个基准数据集用于评估各种技术在检测 ChatGPT 生成内容方面的性能。研究结果表明，现有方法都不能有效地检测 ChatGPT 生成的内容。

    Apr, 2023