台灣 LLM 是第一個專門為繁體中文設計的大型語言模型，能夠理解並產生傳統中文文本，並在文化語境上與用戶群體達到共鳴。

Nov, 2023

台語的使用和地位因台灣向普通話的語言轉變而下降。這是目前自然語言處理和語音研究中它成為低資源語言的部分原因。為了確保台語不落後於語音處理技術的最新發展，我們向 ML-SUPERB 的隱藏集合中貢獻了一個 1.5 小時的台語資料集。在我們的資料集上評估 ML-SUPERB 的自我監督學習（SSL）語音表示套件，發現模型大小並不一致地決定性能。實際上，某些較小的模型表現更好。此外，預訓練數據和目標語言之間的語言對齊起關鍵作用。

Dec, 2023

该研究针对传统汉语在现有基准测试中的低覆盖率，提出了适用于评估大型语言模型的 TMLU 综合评估工具，通过中学到专业水平的 37 个科目以及对每个科目进行链式思考式的少样本解释，基于 24 个优秀的语言模型的广泛实验证明汉语公开权重模型在复杂推理能力上表现较差，而适用于台湾国语的开放权重模型也相对于简体中文版本存在差距，研究发现存在提升潜力，强调了培养本土化台湾国语大型语言模型的目标，并公开了基准测试和评估脚本以促进未来研究。

Mar, 2024

为解决 LLMs 的高硬件和计算需求，本研究的主要动机是找到在模型轻量化和性能之间的平衡，力求在使用相对轻量级模型的同时最大限度地提高性能。Hyacinth6B 是为实现这一目标而开发的，旨在充分利用 LLMs 的核心能力，而不会产生重大的资源成本，并有效地推动较小型模型的性能边界。培训方法使用了参数高效的 LoRA 方法。

Mar, 2024

本研究探讨了从粤语到英语的机器翻译模型的开发和评估，并提出了一种应对低资源语言翻译的新方法。

May, 2024

本文提出了一种具有高资源语言特定训练（HLT-MT）的多语言翻译模型，通过采用语言特定模块选择机制，在多语言模型仅与高资源语言训练对进行第一阶段训练，然后在所有可用语料库上进一步训练，从高资源语言向低资源语言转移知识，从而缓解多语言训练中的负面干扰。实验结果表明 HLT-MT 在 WMT-10 和 OPUS-100 基准上优于各种强基线，分析实验证实了我们的方法在缓解多语言训练中的负面干扰方面的有效性。

Jul, 2022

本研究提出了三种策略以增强不太具备资源的语言在大型语言模型中的表现：扩展词汇表、使用双语数据进行预训练以对齐高资源语言和低资源语言、构建高质量的小规模指令数据集并进行指令微调。通过对比八个任务的其他大型语言模型，在质量分析中，我们的提出的 Bllossom 模型表现出优异的性能。

Mar, 2024

本文介绍了一种在低资源语言环境下基于汉语的多语言机器翻译方法，并采用了单语词嵌入数据增强、双语课程学习、对比重排和一种新型的 Incomplete-Trust（In-trust）损失函数，实现了优于其他先进方法的性能。

Apr, 2022

通过引入 CT-LLM，这项研究介绍了一个 2B 规模的大型语言模型（LLM），以优先考虑中文语言的发展。这项研究挑战了在英文语料库上培训 LLMs 并将其适应其他语言的常规模式，为 LLM 培训方法学的拓宽开创了新的可能性。

Apr, 2024

本文介绍了一种构建闽南语 - 华语混合语言数据集的方法，并使用基于语言学的工具包提供了有效的闽南话词语分割方法。此外，针对代码混合情景，作者适应了 XLM 的训练，并发现通过语言学知识、规则和语言标签，模型展现了良好的混合语言翻译效果，并保持了单语言翻译质量。

Jan, 2023