利用自然语言提示进行机器翻译
通过研究生成式大型语言模型在机器翻译中的性能，我们发现多语言模型（如 PaLM）在人工翻译输出方面表现出类似人类的水平，能够根据样式指南和语言要求优化所需的翻译细微差别，并在处理和应用提示上表现出色。我们还针对流行的语言模型作为机器翻译工具的错误和限制进行了分类和提出了设计提示进行上下文学习的方法。通过改进评估指标的准确性和可靠性，我们的研究旨在促进生成式大型语言模型在机器翻译中的进步。
Jan, 2024
语言模型提示优化研究表明，通过无明显意义或语法结构的自动生成的令牌序列，包括模型嵌入空间中的向量序列，通常胜过语义和语法良好的手工制作的提示。我们使用机器生成的提示来探究模型对非自然语言表达组成的输入的响应，并在多个语义任务中研究不同尺寸模型的行为，以及它们对连续和离散机器生成的提示和人工生成的自然语言提示的响应行为进行比较。即使产生相似的输出，机器生成的和人工提示通过网络处理途径触发不同的响应模式，包括不同的困惑度、不同的注意力和输出熵分布，以及不同的单元激活特征。我们提供了对不同提示类型激活的单元性质的初步洞察，表明只有自然语言提示才会引起真正的语言电路的激活。
Oct, 2023
本研究通过利用双语词典的先验知识提供提示，提出了一种新的 DiPMT 方法，可以有效解决 LLM 在低资源机器翻译和领域转移情况下难以翻译生僻词的问题，并且实验结果表明 DiPMT 能够提高 LLM 的翻译性能。
Feb, 2023
利用翻译记忆作为提示是一种有前途的机器翻译模型上下文学习方法，本文通过使用大型语言模型进行提示，发现 LLM 的‘理解’提示的能力确实有助于更好地利用 TMs，并通过实验证明，使用高质量的 TM 提示可以大大改善预先训练的 LLM 翻译器的结果，甚至可以与最新状态下大规模领域内双语数据和针对下游任务进行调整的 NMT 系统的结果相媲美。
May, 2023
该研究提出了一种新颖的方法，逆提示（inverse prompting），通过使用生成文本对提示进行逆向预测，以增强提示和生成文本之间的相关性并提高可控性，实证研究表明该方法在生成文本的开放领域有着很好的表现，该研究提供的代码可供研究者使用。
Mar, 2021
利用自动化方法生成的 AutoPrompt，我们展示了预训练语言模型在自然语言推理、情感分析和关系提取方面的潜在能力，以及自动生成的提示方法是现有探究方法的一个可行的无参数替代方法。
Oct, 2020
该论文研究了利用自动诱导的提示从语言模型中提取信息的能力是否可以被直接应用于探索其他语言模型。在证实了自动提示优于手动和半手动提示的插槽填充任务后，我们证明了在一个模型上学习并在另一个模型上进行测试的 AutoPrompt 提示效果下降。我们介绍了一种混合语言模型来诱导提示的方法，以获得可以在多个模型之间广义的提示。我们对诱导提示进行了全面分析，发现更通用的提示包括更大比例的现有英语单词，其组成部分信息的分布更少依赖顺序并且更加均匀。我们的研究提供了初步证据表明可能生成可诱导一次并与许多不同模型一起使用的离散提示，并提供关于表征此类提示的属性的见解。
Feb, 2023