大型语言模型（或人类）可以蒸馏文字吗？

Mar, 2024

大型语言模型（或人类）可以蒸馏文字吗？

Can Large Language Models (or Humans) Distill Text?

Nicolas Audinet de Pieuchon, Adel Daoud, Connor Thomas Jerzak, Moa Johansson, Richard Johansson

TL;DR调查大型语言模型在文本提炼中的潜力，利用不同架构和训练方法的语言模型识别和去除目标变量信息，以保留其他相关信号，并揭示这些模型在计算社会科学研究中处理文本数据时的优势和局限性。

Abstract

We investigate the potential of large language models (LLMs) to distill text: to remove the textual traces of an undesired forbidden variable. We employ a range of LLMs with varying architectures and training approaches to distill text by identifying and removing information about the

large language models distillation computational social science text data sentiment analysis

发现论文，激发创造

检测 LLM 生成的文本的科学

该研究对大型语言模型生成文本的检测技术现状及未来方向进行了综述，并提出了发展全面的评估指标和威胁控制方案等必要措施。关注点包括大型语言模型的开源威胁和其所产生的可能的误传信息问题。

Feb, 2023

从文本到来源：大型语言模型生成内容的检测结果

通过探索跨模型检测、模型归因以及分类器的效果与模型规模之间的关系，该研究在大型语言模型的使用中提供了宝贵的见解。

Sep, 2023

蒸馏逐步！用更少的训练数据和更小的模型尺寸胜过更大的语言模型

本文介绍一种名为 “Distilling step-by-step” 的新机制，该机制通过在多任务训练框架内提取 LLM rationales 作为小型模型的附加监督来训练比 LLM 更小且表现更好的模型，并且使用远少于 finetuning 或 distillation 所需的标注数据。作者研究表明，相对于 finetuning 和 distillation，本机制使用更少的标注 / 非标注训练样例实现更好的性能；并且相对于 LLMs，使用明显更小的模型尺寸实现更好的性能；作者使用了 only 80% of available data on a benchmark task，就可以使用 770M T5 模型胜过 540B PaLM。

May, 2023

LLM 教育中的知识蒸馏

本研究提出了一种方法，将大型语言模型（LLMs）的知识提炼为一个更小、更高效且准确的神经网络，以实现在资源受限设备上部署这些模型的挑战。我们的方法包括使用 LLM 的预测概率训练较小的学生模型，作为教师模型，通过专门设计的损失函数来学习 LLM 的输出概率，确保学生模型能够准确模仿教师模型的性能。通过对包括 6,684 个学生撰写的科学问题回答及其他数据集的测试，我们将性能与原始神经网络（NN）模型进行了比较，结果显示对于 7T 数据集，NN 模型和提炼的学生模型的准确率与教师模型相当；然而，其他数据集显示 NN 模型的准确率显著较低（平均 28%），然而我们的提炼模型仍然能够比 NN 模型获得更高 12% 的准确率。此外，学生模型的参数大小为 0.1M 至 0.02M，相较于原始输出模型大小减小了 100 倍和 10 倍。该研究的重要性在于其为自动评分在典型教育环境中的运用提供了潜力。

Dec, 2023

利用大型语言模型的知识蒸馏进行网络内容过滤

本研究利用大型语言模型进行 URL 分类，并通过知识蒸馏技术生成了精简版学生模型，使得模型在以 URL 为基础的网页分类任务中准确度提高了 9%，比此前状态 - of-the-art 的方法表现更佳，精简版学生模型使得模型可用于大规模 URL 的内联扫描，并且所需的手工标记训练数据量较之前的方法减少了 3 个数量级。

May, 2023

大规模语言模型蒸馏用于文本属性图学习

本研究提出了使用大型语言模型和图模型相结合的方法来学习文本属性图 (TAG)，通过将大型语言模型的能力提取到本地图模型上，以解决大型语言模型的可扩展性、成本和隐私问题，并通过丰富的文本理由教授解释器，然后让学生模型模仿解释器的推理来弥补大型语言模型和图模型之间的固有差距。通过广泛实验证明了该方法的有效性。

Feb, 2024

自动注释中的知识蒸馏：由 LLM 生成的训练标签进行监督文本分类

使用生成的大型语言模型生成的标签对监督文本分类模型进行微调，与使用人工标注的标签相比表现相当，是一种快速、高效和经济有效的构建监督文本分类器的方法。

Jun, 2024

大型语言模型是否能像人类一样推断和产生分歧？

本文研究大型语言模型在处理自然语言推理任务上的表现，并通过 Monte Carlo Reconstruction 和 Log Probability Reconstruction 两种方法评估其与人类理解的一致性，结果表明大型语言模型在 NLI 任务和人的理解差异分布方面表现不佳。

May, 2023

将 LLM 的分解能力提取为简洁的语言模型

通过离线强化学习将大型语言模型（LLM）的分解能力融入紧凑模型，我们利用 LLM 能力的进步提供反馈并生成专门的任务特定数据集来训练紧凑模型，该研究的主要贡献是开发了一个 AI 生成的数据集和建立了基线，强调了紧凑模型在复制复杂问题解决能力方面的潜力。

Feb, 2024

混合倡议人工科学文本检测的理解和解释

通过定量实验，我们确定了人工和机器生成科学文本之间的关键区别，并提出了一种混合倡议工作流程，用于高效、可靠地检测科学文本，结合了人类专家的先前知识与机器智能，以及可视化分析原型。我们通过两个案例研究和与熟练研究人员的控制用户研究证明了我们的方法的有效性。我们还为高风险决策场景中的交互式人工文本检测工具提供设计启示。

Apr, 2023