控制大型语言模型在类型分类和生成文本检测中的领域外差距

Dec, 2024

控制大型语言模型在类型分类和生成文本检测中的领域外差距

Controlling Out-of-Domain Gaps in LLMs for Genre Classification and Generated Text Detection

Dmitri Roussinov, Serge Sharoff, Nadezhda Puchnina

TL;DR本研究解决了现代大型语言模型在领域外表现差距的问题，尤其是在类型分类和生成文本检测任务中。通过引入一种方法，控制分类过程中使用的预测指标，从而排除主题特征并聚焦于风格特征，研究表明这种方法可以在少量示例设定中，减少高达20个百分点的领域外差距。该研究为改善不同领域间的迁移性能提供了新的策略。

Abstract

This study demonstrates that the modern generation of Large Language Models (LLMs, such as GPT-4) suffers from the same out-of-domain (OOD) performance gap observed in prior research on pre-trained Language Models (PLMs, such as BERT). We demonstrate this across two non-topical classif

发现论文，激发创造

无监督领域外检测的似然比和生成式分类器在任务导向型对话中的应用

该研究探讨了利用似然比和生成分类器的方法在自然语言输入下实现任务导向对话系统的域外检测，并提出了一种利用生成分类器和边际似然值（比率）进行域外检测的方法。

Dec, 2019

从少量样例评估领域外语言模型性能

本研究旨在探索预训练语言模型对领域转移能力的预测，并证明基于特征归因的因子对于预测模型领域转移能力具有一定的作用。

Oct, 2022

检测 LLM 生成的文本的科学

该研究对大型语言模型生成文本的检测技术现状及未来方向进行了综述，并提出了发展全面的评估指标和威胁控制方案等必要措施。关注点包括大型语言模型的开源威胁和其所产生的可能的误传信息问题。

Feb, 2023

从文本到来源：大型语言模型生成内容的检测结果

通过探索跨模型检测、模型归因以及分类器的效果与模型规模之间的关系，该研究在大型语言模型的使用中提供了宝贵的见解。

Sep, 2023

BERT走出题材范畴：通过类型分类研究领域转换挑战

基于预训练语言模型的文本分类任务在主题分布变化时仍存在性能差距，本文通过大规模语料库和大量主题的实证研究量化了这一现象，验证了经典PLMs和现代大模型都面临领域转移的挑战。同时，通过将训练数据集增加主题控制的合成文本，F1得分在某些主题上提高了50％接近在主题上训练的结果，而其他主题则显示出较少或无改进。尽管我们的实证结果侧重于类型分类，但我们的方法适用于其他分类任务，如性别、作者或情感分类。

Nov, 2023

文本分类的语言模型：局部学习是否足够？

在这篇论文中，我们通过对16个文本分类数据集进行大规模评估研究，比较了零样本和少样本的大型语言模型与微调较小语言模型在文本分类方面的表现。结果表明，更小且更高效的语言模型的微调仍然能胜过大型语言模型的少样本方法，在文本分类方面有改进的空间。

Mar, 2024

大规模语言模型引导的文档选择

LLM预训练模型通过精心选择文档，可以在仅使用部分FLOPs的情况下实现与完整训练相当的模型质量；通过使用提示的LLM作为文档评分器，我们将质量标签提取并应用于大规模的互联网抓取数据集，以自动筛除部分文档，从而更好地匹配性能，并通过在上下文中学习来提高标签模型的性能。

Jun, 2024

学习重写：通用的LLM生成文本检测

本研究解决了当前分类器在开放世界中检测LLM生成内容的能力不足问题。通过训练LLM进行文本重写，该方法能够有效区分LLM和人类创作的文本，从而在各领域中实现可推广的编辑距离差异。实验表明，该分类器在检测准确性上显著优于目前最先进的无监督分类器，具有重要的实际应用潜力。

Aug, 2024

无训练大语言模型生成文本检测：挖掘令牌概率序列

本研究解决了现有基于训练的检测方法在跨领域和跨模型场景中的泛化能力不足的问题。通过引入时间序列分析，提出了名为Lastde的新型无训练检测器，结合了局部和全局统计信息，显著提升了检测效果。实验表明该方法在多个数据集上达到了最先进的性能，并对同义改写攻击表现出更强的鲁棒性。

Oct, 2024

针对科学文本分类的大型语言模型微调：一项比较研究

本研究针对大型语言模型（LLMs）在科学文本分类中面临的挑战，特别是领域特定内容的处理困难，通过微调BERT、SciBERT、BioBERT和BlueBERT这四个模型，探讨其在科学文本分类中的表现。研究发现，领域特定模型SciBERT在分类任务中始终表现优于通用模型，强调了领域适配对提升LLMs在专业文本分类任务中的有效性的关键作用。

Nov, 2024