xCoT: 跨语言指导调试用于跨语言 思维链推理
通过不同程度的fine-tuning，基于Flan-T5的大型语言模型学习了Chain-of-Thought推理并表现出更强的few-shot learning能力，使得在27个数据集上的平均零-shot准确率提高了4.34％和2.44％，并在4个特定领域的任务上获得了进一步的改进。
May, 2023
通过在语言模型中建立语义对齐，该研究提出了一种在英语以外的语言中增强指令调整型大型语言模型（It-LLMs）的方法，通过交叉语言指导和翻译指导演示，提高语义对齐，并在六种不同语言上的多语言问答基准测试中验证其方法的效果。
Aug, 2023
通过引入跨语言提示和跨语言自洽提示，本研究提出了一种改进零-shot推理的链思维 (CoT) 方法，以在不同语言之间提高推理性能，并在多个基准测试中获得了最先进的结果。
Oct, 2023
本研究探讨了多语言语言模型（MultiLMs）在针对不同语言推理时，是否能够将逻辑推理能力转移到其他语言。通过在两种方案中评估MultiLMs的跨语言推理能力，我们发现在单语言设置下，MultiLMs可以在语言之间传递推理能力，但在混合代码推理的情况下，它们很难传递推理能力。基于此观察，我们提出了一种新颖的注意机制，利用专门的参数集在混合代码序列中鼓励跨语言注意力，从而在RuleTaker和LeapOfThought数据集上分别将推理性能提高了14%和4%。
Oct, 2023
本研究通过一种自洽的跨语言提示机制，提出了一种跨语言多步推理方法，可以在不同语言中实现多步推理路径，从而达到解决复杂推理任务的目的，并在实验评估中表现出比现有提示方法更优的性能。
Nov, 2023
通过跨语言知识对齐（cross-lingual knowledge alignment）的绩效（Performance）、一致性（Consistency）和传导度（Conductivity）来评估大型语言模型（LLMs）中多语言预训练和指令调整的影响，结果表明，尽管多语言预训练和指令调整对跨语言知识对齐有益，但训练策略需谨慎设计，整体来看，所有测试的LLMs的跨语言知识传导度仍不理想，多语言预训练和指令调整都无法大幅提高跨语言知识的传导度。
Apr, 2024
通过使用CrossIn方法，利用跨语言指导调整数据的混合构成，我们有效地提升了大语言模型在多语种任务和多语言能力上的表现，并对跨语言数据量和翻译数据的整合对提高多语言一致性和准确性的影响进行了广泛探讨。
Apr, 2024
通过多语言推理一致性研究，我们构建了第一个大规模的多语言数学推理数据集mCoT-MATH，然后引入多语言CoT指令调节以提高模型的推理能力和一致性。我们的7B参数模型mCoT在各种语言上展现出惊人的一致性，并且在性能上优于或与更大规模的闭源和开源模型相媲美。
Jun, 2024
通过跨语言调整指令和数据获取方法，研究表明对未知任务的指令调优在英文和韩文方面都取得了显著的改善效果，与单语指令调优相当甚至有些任务超过，强调了在指令调优过程中通过跨语言数据获取的相关性和语言一致性的重要性。
Jun, 2024