Nov, 2023

基于 LLM 伪标签的半监督学习提升抽取式摘要生成

PDF
TL;DR使用半监督方法解决在有限标记数据场景下的提取式文本摘要任务，提出了一种基于 GPT-4 的基于提示的伪标签选择策略，通过使用 LLM 评估和生成伪标签，改进了不同数据集上的 ROUGE-1 指标 10-20％，减少了无标记样本数量。
发现论文，激发创造
  • LLM 辅助的半监督式提取式对话摘要

    使用未标记数据进行客户 - 代理商对话的摘要生成，通过将摘要问题建模为问答问题，使用大型语言模型生成伪标签，并通过精细调整专门的聊天总结模型来有效地从大型语言模型中转移知识。

    Nov, 2023

  • 利用大型语言模型作为参考学习自动摘要

    本文提出了一种新的学习范式，考虑到 LLMS 是常用摘要数据集中的参考标准，用对比学习和 LLM 作为摘要质量评估器进行摘要训练方法。实验证明，用 GPTScore 和 GPTRank 两种 LLM 计分方式训练出来的较小的摘要模型，其性能可以与参考的 LLM 相媲美，通过访问 LLMS 它只需要很小的预算。

    May, 2023

  • 自动注释中的知识蒸馏：由 LLM 生成的训练标签进行监督文本分类

    使用生成的大型语言模型生成的标签对监督文本分类模型进行微调，与使用人工标注的标签相比表现相当，是一种快速、高效和经济有效的构建监督文本分类器的方法。

    Jun, 2024

  • 神经潜在抽取式文档摘要

    本篇文章提出一种基于潜变量的抽取式文本摘要模型，通过使用句子作为潜变量和检索金标准摘要来改善基于启发式标签的抽取式模型，并在 CNN/Dailymail 数据集上得到了良好的结果。

    Aug, 2018

  • 基于 LLM 监督的零训练语义分割

    该论文介绍了一种利用大型语言模型（LLM）进行文本监督语义分割的新方法，该方法通过生成更准确的类别表示来提供多样化的分割结果，并通过合并不同的子类描述符的分割图确保对测试图像的更全面的表示。经过三个标准基准的全面实验，我们的方法比传统的文本监督语义分割方法表现出更好的性能。

    Mar, 2024

  • LLM 能增强低资源阅读理解数据集吗？机遇和挑战

    本文探讨了使用 GPT-4 作为人工标注的替代品来提供低资源阅读理解任务的性能，通过精细调节后的性能和标注成本的对比，这是对 LLMs 作为合成数据增广器用于 QA 系统的第一次分析，强调了这一独特的机遇和挑战，并提供了低资源数据集的增广版本，为生成数据集的评估提供了进一步的基准。

    Sep, 2023

  • 零样本多语言摘要的神经标签搜索

    NLSSum 是一种多语言抽取式文本摘要模型，可以在不同语言的数据集中学习句子级标签，并同时使用这些标签来提高文本摘要的质量。

    Apr, 2022

  • 基于伪标签监督的视频查询摘要

    本文介绍了一种利用自我监督和伪标记来预先训练深度模型，并提出了一种含义增强器和相互关注的方法来生成上下文感知的查询表示，以改进视频摘要任务的性能，并在常见的视频摘要 benchmark 中获得了最先进的性能。

    Jul, 2023

  • AugSumm：利用大型语言模型生成的合成标签进行通用语音摘要

    通过使用大型语言模型（LLM）作为人工标注者的代理，本研究提出了一种名为 AugSumm 的方法来生成用于训练和评估的增广摘要，通过在 ChatGPT 上生成的合成摘要验证其质量，并在训练和评估中利用这些合成摘要，实验证明在合成摘要上进行预训练并在 GT 摘要上进行微调可以改善 ROUGE-L 指标。

    Jan, 2024

  • 使用公共社交媒体数据评估大型语言模型在健康相关文本分类任务中的性能

    我们评估了多种模型，包括传统机器学习模型、预训练语言模型和大型语言模型，比较它们在社交媒体健康相关自然语言处理任务中的性能。实验结果表明，使用大型语言模型进行数据增强可以获得比仅使用人工标注数据训练的模型更好的结果，并且传统的有监督学习模型在零样本设置中也表现出优于大型语言模型的性能。

    Mar, 2024