domain-specific models | BriefGPT

关键词domain-specific models

搜索结果 - 9

NuwaTS: 修复每一个不完整时间序列
利用 NuwaTS 框架将预训练语言模型（PLM）重新用于普通时间序列插补任务，通过设定特定嵌入来捕捉不完整时间序列的信息，提出对比学习方法以增强模型对不同遗漏模式的适应性，训练得到一对多的插补模型，并证明其在各种数据集和遗漏模式上胜过现有
PDFa month ago
推动科学中的 AI 公平性：通用领域提示学习助力面向普及的 VLM 研究
大规模视觉语言模型（VLMs）在自然视觉任务中表现出色，推动跨领域的研究者探索特定领域的 VLMs。然而，构建强大的特定领域 VLMs 需要大量的注释数据、大量的电能和计算资源，这些主要是工业界可用的，却制约了学术界对 VLMs 的研究。为
PDF2 months ago
ACL研究面向仇恨言论检测的 PLM 关键学习动态
调查预训练语言模型对恶意言论检测性能的影响，比较不同的预训练模型，评估其鲁棒性及微调设置，并探究预训练数据收集时间的影响。分析结果显示预训练阶段对后期任务有早期的峰值，使用最新的预训练语料库的效益有限，微调阶段会受特定层的影响。对于恶意言论
PDF5 months ago
InferAligner: 通过跨模型指导实现无害性的推理时间对齐
通过 InferAligner 方法，在训练领域特定模型以及多模态的大语言模型时，有效降低了有害输入指令和越狱攻击的攻击成功率 (ASR)，同时保持了下游任务性能的基本不变。
PDF5 months ago
利用外部知识资源实现领域特定的理解
通过利用知识图谱与预训练语言模型的嵌入空间相结合的方法，我们对领域特定的文本数据进行了对齐和融合，从而实现与领域特定模型相似的性能表现。
PDF6 months ago
多域多设备 ASR 系统的统一建模
本文提出一种创新的方法，将不同领域和不同设备的模型整合成一个统一的模型，使用领域嵌入、领域专家、专家混合和对抗性训练来提高整体统一模型的准确性，并通过仔细的消融研究表明每个创新的好处，实验证明我们提出的统一建模方法实际上优于精心调整的专业领
PDF2 years ago
ACL适应并蒸馏：为特定领域开发小型、快速且高效的预训练语言模型
本文介绍了一种开发特定领域小型、快速和有效的预训练模型的通用方法，该方法通过对通用预训练模型进行调整，以及在目标领域进行任务无关的知识蒸馏来实现。具体而言，在适应阶段，我们提出了领域特定词汇扩展，并使用语料库级别出现概率自动选择增量词汇表的
PDF3 years ago
ACLUmlsBERT: 使用统一医学语言系统词表增强上下文嵌入的临床领域知识
UmlsBERT is a contextual embedding model for biomedical natural language processing that integrates domain knowledge dur
PDF4 years ago
ACL利用递归神经网络进行多域对话状态跟踪
该论文研究对话状态跟踪，提出通过跨域对话数据训练一般化信念跟踪模型，使用域外数据初始化跨域信念跟踪模型的训练流程，提高了信念跟踪的性能。
PDF9 years ago