Apr, 2023

ParroT：使用大型语言模型进行聊天翻译

PDF
TL;DR提出了基于开源 LLMS（LLaMA-7b）和人工翻译评估数据的 ParroT 框架，该框架通过重新规划翻译数据到遵循指令的风格，并引入 “提示” 字段，以调节翻译过程。通过 Finetuning ParroT 模型的三种指令类型，包括翻译指令、对比指令和误差引导指令，实验结果显示翻译指令可以显着提高香草 LLMS 的翻译性能，而误差引导指令则进一步改善了翻译性能，并展示了从人工注释的低质量翻译中学习的重要性。同时，ParroT 模型也可以通过包含多任务数据集 Alpaca 的精调任务中保持其对通用任务的能力。
发现论文，激发创造
  • Parrot: 通过学习提问增强多轮聊天模型

    通过引入 Parrot，一种具有高可扩展性的解决方案，我们在多轮对话中自动生成高质量的指导语料，并利用这些语料来提高聊天模型在多轮对话中的效果。

    Oct, 2023

  • 通过使用翻译指示进行多语言微调，引发大型语言模型的翻译能力

    本篇论文通过对一个多语种预训练语言模型 XGLM-7B 进行微调并给出指示进行多语种翻译的实验，展示了预训练语言模型在翻译任务中的较强能力，并发现其翻译能力依赖于对翻译指令的理解和语言之间的对齐，研究结果可启发模型改进。

    May, 2023

  • 鹦鹉：多语言视觉指令调整

    Parrot 是一种新方法，利用文本指导在语言级别驱动视觉令牌对齐，以增强多语言大型语言模型的多模态能力，并提供了一个大规模多语言多模态基准测试数据集（MMMB）。

    Jun, 2024

  • 通过仅使用平行数据训练的大型语言模型研究翻译能力

    本研究引入了 PLUME（Parallel Language Model），该模型是由三个 2B LLMs 组成，采用不同词汇量（32k、128k 和 256k），并且完全基于加泰罗尼亚语为中心的平行语料进行训练。这些模型在 16 个有监督翻译方向和 56 个零样例下的翻译性能与之前的编码解码架构相当。利用这些模型，我们对 LLMs 的翻译能力进行了全面调查，探究其性能、提示的不同元素以及跨语言表示空间的影响。

    Jun, 2024

  • 增强大型语言模型的翻译能力的新范式

    本文介绍了一项关于增强大型语言模型（LLMs）在机器翻译（MT）任务中翻译能力的研究，提出了一个包括三个阶段的新范 Paradigm，通过使用大量的单语数据进行二次预训练、使用互译文本格式文档进行连续预训练，以及利用和源语言一致的指导来进行监督微调。实验结果表明，我们的方法在翻译能力方面取得了显著的改进，超过了以前的工作，并在参数数量较小的情况下实现了优越的性能。

    Mar, 2024

  • ChatGPT 替代人群准备释义以进行意图分类：更高的多样性和可比较的模型鲁棒性

    本文研究了使用 ChatGPT 替代人工工人进行意图分类的复述生成任务，通过基于已有众包研究的数据收集方法，展示了 ChatGPT 创建的复述更为多样化且能够带来更加强健的模型。

    May, 2023

  • 机器翻译的范式转变：提升大型语言模型的翻译性能

    通过提出一种新的微调方法，我们设计了一种面向翻译任务的先进语言模型的翻译器 ALMA，该模型在 WMT'21 和 WMT'22 的测试数据集上相比于之前的工作和具有 7B 或 13B 参数的模型有着显著性能提升，并为机器翻译领域的新的训练范式奠定了基础。

    Sep, 2023

  • LLMs 是否可以促进预训练语言模型的解释？

    利用 ChatGPT 作为注释器，我们在预训练语言模型中发现潜在概念，并采用 GPT 注释进行注释。我们的发现表明，与人类注释概念相比，ChatGPT 产生了准确且语义更丰富的注释。此外，我们展示了 GPT-based 注释如何增强解释分析方法，其中我们展示了两个分析框架：probing framework 和 neuron interpretation。为了促进进一步的探索和实验，我们提供了一个包含 39,000 个注释潜在概念的 ConceptNet 数据集。

    May, 2023

  • 使用 ChatGPT 模型评估阿拉伯语 NLP 任务

    本研究评估了 GPT-3.5 和 GPT-4 模型在七个阿拉伯语自然语言处理任务上的性能，并发现 GPT-4 在其中五个任务上的性能优于 GPT-3.5，同时提供了一种新的 Python 接口用于轻松评估这些任务。

    Jun, 2023

  • 增强的说话对话的语音模型中的次语言学特征

    大型语言模型在聊天、推理和问答等任务中表现出卓越的能力，然而标准的语言模型可能会忽略关键的语用信息，如情感、情感和口语风格，而这些信息对于实现自然、类似人类的口语对话非常重要，特别是当这些信息通过声学提示来传达时。因此，我们提出了一种增强语用的生成预训练变压器（ParalinGPT），该模型利用文本和语音模态来更好地建模口语回应的语言内容和语用属性。该模型将文本的对话背景、语音嵌入和语用属性作为输入提示，在序列化的多任务多模态框架中。实验结果表明，所提出的序列化多任务方法在当前和回应的情感分类上优于典型的序列分类技术。此外，利用对话背景和语音嵌入显著改进了回应文本的生成和情感预测。我们提出的框架在当前情感准确度、回应情感准确度和回应文本 BLEU 分数上分别取得了 6.7％、12.0％和 3.5％的相对改进。

    Dec, 2023