Mar, 2024

单调改写提高语言模型启示的泛化能力

PDF
TL;DR我们提出了一种单调改写方法（MonoPara），通过一个将提示或指令改写成更低困惑度的改写语言模型和一个用于限制生成更低困惑度的目标语言模型的组合解码过程，对原始提示进行改写而不改变其语义含义，从而降低生成的困惑度，提高零样本语言模型的表现，并且有效改善语言模型对扰动和未见任务指令的泛化能力。
发现论文，激发创造
  • 通过困惑度估计解密语言模型中的提示

    通过对语言模型的提示和降低困惑度等优化，可以改善模型在 zero-shot 学习中的性能。

    Dec, 2022

  • 基于矢量量化提示学习的释义生成

    通过利用预训练模型和实例相关提示，本文提出生成多样且高质量的复述词句的方法，使用向量量化的提示来控制预训练模型的生成。实验表明此方法在三个基准数据集上取得了最新的最佳结果，包括 Quora、Wikianswers 和 MSCOCO。一旦被接受，我们将公开所有代码。

    Nov, 2023

  • 多提示解码器有助于更好的语言理解

    提出了一种用于适应 Model-as-a-Service 预训练语言模型的多提示解码器（MPD）框架，在少数据情况下通过多个不同的提示查询语言模型，从而提高了解码的质量和数据的利用率，实验结果表明在多个自然语言理解数据集上取得了最新的最好效果。

    Jun, 2024

  • 解剖近义句：预训练语言模型中提示句法和补充信息对知识检索的影响

    预训练语言模型可以通过闭式样式提示来推断关系性知识，使用统一的元模板设计的 CONPARE-LAMA 探针表明句子结构在知识检索性能方面具有多种可取的特性，并且领域信息相对于语法形式更可靠地提升知识检索性能。

    Apr, 2024

  • 改述类型间引发提示工程能力

    这项研究通过对一系列不同的语言表达的变化进行系统和实证评估，发现语言模型在适应特定的语义转换类型（如形态、词汇）的提示时具有潜力，这为开发能够处理语言表达的变异性的更强大的语言模型做出了贡献。

    Jun, 2024

  • POMP: 低资源无监督神经机器翻译中基于概率的元图提示器

    提出了基于概率的元图提示器 (POMP) 方法，通过动态抽样的多个辅助语言构建有向无环的元图，以增强大型语言模型在低资源语言的翻译能力，并借助 BLEURT 评价指标验证有效性。

    Jan, 2024

  • 使用大型语言模型进行相关语言机器翻译的分解提示

    本研究提出了一种针对相关语言即语言家族内具有相似语言特征的机器翻译的新方法，将翻译过程分解成单词块翻译的序列，并证明了该方法的有效性。

    May, 2023

  • 基于词典短语级别的大语言模型提示用于机器翻译

    本研究通过利用双语词典的先验知识提供提示，提出了一种新的 DiPMT 方法，可以有效解决 LLM 在低资源机器翻译和领域转移情况下难以翻译生僻词的问题，并且实验结果表明 DiPMT 能够提高 LLM 的翻译性能。

    Feb, 2023

  • (动态) 提示可能足以修复压缩的 LLM 模型

    大型语言模型，困惑度，压缩，基于提示的恢复，推理时动态提示。

    Oct, 2023

  • 预训练语言模型无监督的改写技术

    本文研究了基于转移学习的无监督方法生成高质量的同义改写，其中采用了任务自适应、自监督学习和名为 Dynamic Blocking 的新型解码算法。该方法在问答数据集和 ParaNMT 数据集上均取得了最新的性能，并且在不同语言改写中具有良好的迁移性能。

    Oct, 2020