domain specialization | BriefGPT

关键词domain specialization

搜索结果 - 5

Juru：来自可靠来源的巴西合法大型语言模型
通过领域专门化和高质量数据预训练，我们研究了大语言模型的高计算成本问题，发现领域专门化可以降低预训练数据量，但会牺牲同一语言中其他知识领域的性能。这一研究有助于证明预训练数据的选择可以提升大语言模型的性能，从而降低研究成本。
PDF3 months ago
TeMPO: 高效的时间多路复用动态光子张量核用于紧凑的慢光电光调制器边缘人工智能
通过跨层级协同设计和领域专用定制，我们提出了一种名为 TeMPO 的时分复用动态光子张量加速器，它在电子光子计算系统中弥合了性能差距，达到了更高的性能和效率。
PDF5 months ago
超越一模型适用于所有场景：大型语言模型领域特化调查
本论文提出了一个系统化的分类方法，将 LLMs 领域专业化技术分类，并讨论了适用于这些技术的关键应用领域的问题和前景，对当前研究状态和未来趋势进行了深入剖析。
PDFa year ago
分支 - 训练 - 合并：专家语言模型的尴尬并行训练
提出了 Branch-Train-Merge (BTM) 算法来高效地训练大型语言模型，该算法通过学习一组具有独立专业性的语言模型 (ELM)，将一个新类的 LLMs 的子部分独立训练在不同的数据子集上，并实验表明相对于当前 LLMs 的训
PDF2 years ago
ACLDS-TOD：针对任务导向对话的高效领域专业化
本文探讨了领域专业化预训练对任务定向对话的影响，并提出了一种领域适配器技术，通过构建和利用专门领域的资源，如 DomainCC 和 DomainReddit 来提高模型的任务性能。
PDF3 years ago