通过 LLM 后编辑改进跨领域低资源文本生成：一种程序员 - 口译员方法

ACLFeb, 2024

通过 LLM 后编辑改进跨领域低资源文本生成：一种程序员 - 口译员方法

Improving Cross-Domain Low-Resource Text Generation through LLM Post-Editing: A Programmer-Interpreter Approach

Zhuang Li, Levon Haroutunian, Raj Tumuluri, Philip Cohen, Gholamreza Haffari

TL;DR通过提出一种神经程序解释器方法，将后编辑动作专门设计用于文本生成，以解决大型语言模型的后编辑方法在跨领域时的泛化能力不足的问题。大量实验证明，该方法在逻辑形式到文本转换和低资源机器翻译中显著提高了 GPT-3.5 的性能，并超过了其他最先进的大型语言模型后编辑方法。

Abstract

post-editing has proven effective in improving the quality of text generated by large language models (LLMs) such as GPT-3.5 or GPT-4, particularly when direct updating of their parameters to enhance text quality

post-editing large language models neural programmer-interpreter approach domain generalization text generation

发现论文，激发创造

使用 GPT-4 进行自动翻译后编辑

本研究使用 GPT-4 对多种语言对进行神经机器翻译 (NMT) 输出的翻译后编辑，实现优秀的翻译质量与表现，达成当今最佳翻译质量指标 (WMT-22) 的水平。

May, 2023

上下文细化的翻译：大型语言模型用于句子和文档级后编辑

利用大型语言模型（LLM）进行神经机器翻译和自动后编辑，并借鉴低秩适配器微调的方法，在句子和文档级别的度量上取得显著改进，同时还研究了利用人工修正来减少后续翻译所需的编辑次数的实际应用场景。

Oct, 2023

大型语言模型是否能编辑？评估其按照编程编辑指令的能力

通过一个仔细设计的代码编辑任务基准以及结合自然语言指令的训练集，我们评估了几个最先进的大型语言模型，并揭示了现有开源和闭源模型之间的显著差距。同时，我们展示了通过精细调优开源代码语言模型可以显著提高其代码编辑能力。

Dec, 2023

大型语言模型作为数据预处理器

此研究拓展了大型语言模型（LLMs）的应用，探索了它们在数据预处理中的潜力，包括错误检测、数据插补、模式匹配和实体匹配任务。我们提出了一个基于 LLMs 的框架，用于改进模型的性能和效率。实验结果表明 LLMs 在数据预处理中具有巨大潜力。

Aug, 2023

基于 LLM 的数据增强方法提升跨语言表现

本研究探讨了利用大型语言模型进行数据增强在跨语言常识推理数据集中的潜力，通过使用包括 Dolly-v2、StableVicuna、ChatGPT 和 GPT-4 在内的大型语言模型来扩充三个数据集，确定了该方法的有效性，并比较了使用英语生成数据和将英语生成的数据翻译成目标语言。实验结果表明，使用 GPT-4 生成的合成数据进行训练的性能比其他模型优秀，ChatGPT 和 GPT-4 在大多数语言中生成的自然文本效果非常好，但在某些情况下，它们的效益会下降。

May, 2023

预训练语言模型渐进式生成长文本

该论文提出了一种通过逐步完善领域特定的关键词，并在多个阶段逐步把它们转换为完整段落生成文本的简单而有效的方法，该方法利用了预先训练的大规模语言模型，在质量和样本效率方面显着优于仅仅在小语料库上微调的大型语言模型和其他规划 - 生成方法。

Jun, 2020

大型语言模型编辑：问题、方法和机遇

本研究旨在探讨大型语言模型的编辑问题，提出当前最先进的编辑方法并构建了一个新的基准数据集进行实证分析，从而为研究社区在选择适用于特定任务或上下文的最合适的方法时提供有价值的见解。

May, 2023

使用错误注释引导大型语言模型进行机器翻译

通过使用 Multidimensional Quality Metric (MQM) 注释中的外部反馈来引导大型语言模型 (LLMs) 自动对机器翻译进行后编辑，以提高翻译质量。使用 LLaMA-2 模型，通过改变反馈的特性，我们考虑了不同的提示策略，并对 LLM 进行微调以提高其利用所提供指导的能力，实验证明提示 LLMs 对机器翻译进行后编辑，可以改善 TER、BLEU 和 COMET 分数，微调有助于更有效地整合细粒度的反馈，并基于自动和人工评估进一步提高翻译质量。

Apr, 2024

使用大型语言模型的自适应机器翻译

本文旨在探究如何利用上下文学习的方法来提高实时自适应机器翻译的质量，并研究将强编码器 - 解码器模型和模糊匹配相结合以进一步提高翻译质量的方法。已在五个大不同的语言对上展开了实验。

Jan, 2023

无梯度和演示的大型语言模型交互式任务的提示优化

研究提出了 LLM-PO，一种新方法，可以使 LLMs 在没有梯度访问或广泛演示的情况下解决交互式任务。该方法通过维护基于文本的计划并要求 LLMs 根据其采集的经验反思当前计划的优缺点，并根据 LLMs 的反馈来更新计划和收集更多的经验，从而解决交互式任务。在 HotpotQA 上的实验表明，LLM-PO 的成功率比基于上下文的学习（ICL）基线更高或相当，同时需要更少的推理成本。

May, 2023