Oct, 2023

T5 meets Tybalt: 使用大型语言模型进行早期现代英语戏剧中的作者归属

PDF
TL;DR使用大型语言模型在文体学中研究作者鉴定，尤其是早期英国剧作，发现既有令人期待的结果，也存在令人担忧的结果；LLMs 能够准确预测作者身份，即使是短小的片段，但也容易将文本错误地归属给特定作者。通过精调 t5-large 模型，在归因小片段时表现优于所有测试的基线模型，包括逻辑回归、带线性内核的 SVM 和余弦差等方法。然而，我们观察到模型预训练数据中特定作者的存在会对预测结果产生难以评估的影响。
发现论文，激发创造
  • 大型语言模型上的神经作者归属性：风格分析

    通过实证分析大型语言模型（LLMs）的写作特征、对比专有和开源模型的异同、并探索通过语言的词汇、句法和结构方面的风格特征整合实现对 AI 生成文本的追溯，为神经网络作者归属提供经验性洞见，为应对 AI 生成的错误信息的威胁铺平道路。

    Aug, 2023

  • 大型语言模型能否识别作者？

    使用大型语言模型进行作者身份验证和归属度分析的研究，以及通过详细分析语言特征为决策提供解释，为未来基于大型语言模型的作者身份分析研究建立了新的基准。

    Mar, 2024

  • 归属于谁的 LLM？GPT-3.5、GPT-4 和 Bard 的语言比较与 LLM 归属

    通过语言分析，对比了目前三种最流行的大型语言模型（GPT-3.5、GPT-4 和 Bard）生成的文本与不同输入的词汇、词性分布、依存分布和情感，结果显示存在显著的语言变化，通过简单的模型分类可以以 88% 的准确率将文本归属于相应的大型语言模型。讨论了这一有趣发现的理论和实际意义。

    Feb, 2024

  • 使用神经网络语言模型进行作者归属判定

    研究了神经网络语言模型在作者归属问题上的性能，发现与传统非参数化模型相比，其性能更优越。

    Feb, 2016

  • 从文学角度评估大型语言模型的创造力

    该研究通过一个深入的案例研究，评估了大型语言模型在创意写作过程中作为辅助工具的潜力。研究中开发了交互式多声音提示策略，交织了背景描述、指导写作的指令、目标风格的文本示例和给定示例的关键讨论，并从文学批评的角度以及计算创造力的角度进行了定性评估。研究结果支持大型语言模型能够实现高级提示的观点。

    Nov, 2023

  • 阅读深层意义：利用作者进行短篇小说梗概评估大型语言模型

    最近的大型语言模型在总结短篇小说这一具有挑战性的任务上进行评估，结果显示这些模型在超过 50% 的总结中存在不忠实的错误，并且对于难以解释的含义也有困难，然而在最好的情况下，这些模型可以提供有思考深度的故事主题分析，并且我们还证明了语言模型对总结质量的评判与作者的反馈不一致。

    Mar, 2024

  • 从文本到来源：大型语言模型生成内容的检测结果

    通过探索跨模型检测、模型归因以及分类器的效果与模型规模之间的关系，该研究在大型语言模型的使用中提供了宝贵的见解。

    Sep, 2023

  • ALMs：作者语言模型用于作者归属

    本文介绍了一种作者归属方法，即作者语言模型 (ALMs)，它通过对一组候选作者的文本进行经验修正得到的调整语言模型的困惑度，从而识别问询文档的最有可能的作者。我们使用 CCAT50 数据集和 Blogs50 数据集对 ALMs 进行了基准测试，并发现 ALMs 在 Blogs50 上达到 83.6% 的宏平均准确率，超过所有其他方法，在 CCAT50 上达到 74.9% 的宏平均准确率，与最好方法的性能相当。此外，我们还进行了关于短文本的删除测试，结果发现为了达到 70% 的宏平均准确率，ALMs 需要在 Blogs50 上有 40 个词元，在 CCAT50 上有 400 个词元，而为了达到 60% 的宏平均准确率，ALMs 需要在 Blogs50 上有 20 个词元，在 CCAT50 上有 70 个词元。

    Jan, 2024

  • DataTales：探究大型语言模型在编写数据驱动文章中的应用

    本研究探讨使用大型语言模型（LLMs）支持数据驱动文章创作的可行性和感知价值，设计了一个原型系统 DataTales，通过使用 LLMs 生成与给定图表相关的文本叙述，并通过与 11 名专业人士进行定性研究评估了该概念，从中提炼了 LLMs 作为有价值的数据驱动文章创作助手的优点和机会。

    Aug, 2023

  • 区分虚构声音：引语归属的作者验证模型研究

    通过对大量英语小说进行预训练的作者验证模型编码以角色的引用，本研究探索了角色的文体表征，并且结果表明这些模型中融合的文体和主题信息能够准确区分角色，但在归属引用方面并没有必要超过仅有语义的模型，然而这些结果在小说之间存在差异，因此在文学文本和角色研究领域需要进行更多针对性的文体测量模型的研究。

    Jan, 2024