MMDec, 2023

自动内容分析的少样本学习：对乌克兰军火交付辩论中论点和主张的高效编码

PDF
TL;DR使用多语言 Transformer 模型和适配器扩展加上少样本学习方法的组合，成功地在沟通科学领域的实际案例中实现了通过自动检测声明和论据并确定其立场来改善包括复杂语义类别编码在大数据集上的自动内容分析，提供了与完全微调 PLMs 相媲美的有效性，同时在沟通研究中具有更好的特性。
发现论文，激发创造
  • 低资源语言中大型语言模型的少样本跨语言迁移

    将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法，优于翻译和 LAFT，并在所有任务和语言上表现最佳。

    Mar, 2024

  • Few-Shot 学习在机器翻译中的不合理有效性

    通过少量有质量的翻译数据训练的自监督学习解码器模型，在没有多语言联合训练或反向翻译的情况下，在较高和较低资源语言对中均显示出潜力。同时，该方法还提供了一种控制翻译属性的方法，为可控机器翻译系统铺平了道路。

    Feb, 2023

  • 让预训练语言模型成为更好的少样本学习者

    LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

    Dec, 2020

  • 神经网络少样本文本分类的现实检验

    本文介绍了在 NLP 领域中使用头部计算机视觉模型的性能以及使用 transformers 后的表现，探讨了这些模型在意图识别任务中的应用情况，发现造成性能差异的因素为任务的类别数量，提出了一个简单的基线模型，所有实现的模型都会被公开。

    Jan, 2021

  • 语言模型是少样本学习器

    在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

    May, 2020

  • 基于语言模型检索的多语言少样本学习

    本文在多语言和交叉语言设置下，通过全面研究检索语义相似的少样本示例的方法来提升 Transformer 模型在自然语言理解任务中的性能。结果表明该方法在英语以外的单语言和交叉语言任务中均优于随机抽样。

    Jun, 2023

  • 透过适配器模块从自然语言到代码的跨模态转换

    本文研究了使用适配器在软件工程中进行知识转移的方法，对 C/C++、Python 和 Java 三种编程语言中的 cloze 测试和代码克隆检测等任务进行了广泛的实验，并将该方法与基准进行了比较，在参数数量、内存使用和推理时间等方面更加高效。

    Apr, 2022

  • 利用语言模型生成训练数据：走向零样本语言理解

    本文提出了一种简单的方法，使用预训练语言模型 (Pretrained language models) 进行全零样本学习 (zero-shot learning) 自然语言理解任务 (NLU tasks)。该方法使用单向和双向 PLMs 生成和训练数据，其中训练数据是使用提示 (prompts) 引导的类别条件文本。使用这种方法，在 GLUE 数据集的七个分类任务中取得了强劲的表现 (例如在 MNLI-m/mm 上的 72.3/73.8，以及在 SST-2 上的 92.8)，相对于零样本提示方法，甚至实现了与使用每类 32 个训练样本的强有力的少样本方法相当的结果。同时，采用了标签平滑和时间模型的融合技术以达到更好的泛化和稳定性。

    Feb, 2022

  • 预训练语言模型用于简短文本自然语言生成

    该文提出了少样本自然语言生成（Few-shot natural language generation）任务，设计了基于内容选择和语言建模的模型架构，表现良好。

    Apr, 2019

  • 基于少样本学习的蕴涵推理

    本研究提出了一种名为 EFL 的新方法，将潜在的自然语言处理任务重新表述为蕴含任务，并在少至 8 个样例的情况下微调模型，进而证明该方法可以自然地与无监督对比学习数据增强方法相结合，易于扩展为多语言少样本学习，并在 18 个标准 NLP 任务上进行了系统评估，表明该方法将现有 SOTA 少样本学习方法的性能提高了 12％，在相同数据量下，可以达到与 GPT-3 相近的少样本性能

    Apr, 2021