用人工询问技术来归属语言模型
该论文研究了生成式大型语言模型的 fine-tuning 对模型授权和版权保护的影响,并提出了一种基于不同知识水平和归属策略的模型追溯方法。
Jun, 2023
基于大语言模型的隐藏状态,我们提出了一种新的环境下问答的归因方法,绕过重复训练模型和检索模型开销,提供精细的归因并保持结果质量,在识别出 LLM 生成的文字时表现出与 GPT-4 相当甚至更好的性能,且适用于各种 LLM 架构。
May, 2024
通过对三种不同方法进行深入评估,即传统的浅层学习、语言模型(LM)微调和多语言模型微调,本文对文本生成的重要性有了显著进展,尤其是在区分人类和机器生成文本方面,结果表明这些方法在性能上存在显著差异,强调了在自然语言处理领域中继续推进的重要性,为未来创造强大且具有高度辨别力的模型铺平了道路。
Nov, 2023
通过精调模型和对称相似度、LLM 评估和 Rouge-L 分数等指标的连续反馈循环来提高人工智能模型,利用金融数据集和检索增强生成技术 (RAG),证明精调模型在问题回答能力方面能够超越零 - shot LLMs 的准确性。
Jan, 2024
通过实证分析大型语言模型(LLMs)的写作特征、对比专有和开源模型的异同、并探索通过语言的词汇、句法和结构方面的风格特征整合实现对 AI 生成文本的追溯,为神经网络作者归属提供经验性洞见,为应对 AI 生成的错误信息的威胁铺平道路。
Aug, 2023
研究社区正在积极开发检测给定文本是有机的还是合成的方法,本文则聚焦于探讨如何对精细调整的语言模型进行指纹识别以确定其来源,并通过实验结果表明,精细调整本身是确定合成文本来源的最有效方法。
Jun, 2021
本文研究了大型语言模型在金融分析中的应用,通过 IJCAI-2024 FinLLM 挑战模拟了金融分类、金融文本摘要和个股交易等关键任务,并采用 Llama3-8B 和 Mistral-7B 作为基本模型,通过 Parameter Efficient Fine-Tuning(PEFT)和 Low-Rank Adaptation(LoRA)方法进行微调,将任务一和任务二的数据集进行融合,综合和全面地解决了这些多样且复杂的金融任务,展示了大型语言模型在提高准确性和决策能力方面的潜力。
Jul, 2024
本文探讨了大型语言模型在自动评估引用时的两种方法:引导 LLM 和微调更小的 LM。我们手动策划了一组测试样例以涵盖 12 个领域并评估了其自动评估的结果,旨在为这一重要问题的未来研究打下基础。
May, 2023
本文研究基于属性的 LLM 发展,在开发 Attributed LLMs 的第一步骤中提出可重复的 Attributed QA 评估框架并评估多种结构。实验结果探讨了如何度量归属(attribution)以及现有方法在归属方面的表现如何,并提出了建立带归属特性的 LLMs 的可能方向。
Dec, 2022