domain-specific | BriefGPT - AI 论文速递

关键词domain-specific

搜索结果 - 31

知识破解：一知识点价值一次攻击
通过知识生成越狱攻击以评估大型语言模型在特定领域的安全性，证明了越狱生成器在生成与给定知识相关且对目标语言模型有害的越狱攻击方面的有效性。
PDF15 days ago
利用 RAG 提高 LLM 事实准确性以应对幻觉：私有知识库中领域特定查询的案例研究
我们提出了一种朝着利用检索增强生成（RAG）改进大规模语言模型（LLMs）对私人知识库相关的领域特定和时间敏感查询的事实准确性的端到端系统设计。我们的系统将 RAG 流水线与上游数据集处理和下游性能评估集成在一起。通过使用源自 CMU 广泛
PDF4 months ago
对比学习和专家混合使得向量嵌入更精确
我们针对高度专业化的科学子领域中，传统方法不能很好地进行文本分类和矢量表示的问题，提出了使用共引作为相似度度量的专业数据集，并结合领域特定微调和专家混合的通用适应性方法，实现了在多个任务上具有高效性的通用 Transformer 网络，显著
PDF5 months ago
构建与伊斯兰世界观相符的领域专用 LLMs：幻觉还是技术可能性？
构建与伊斯兰世界观一致的领域特定大型语言模型 (Large Language Models) 的挑战、解决方案和评估方法的研究。
PDF7 months ago
通过知识挖掘和摘要的自我增强领域特定聊天机器人训练方法
通过从特定领域的文本源有效提取相关知识和自适应培训聊天机器人，我们引入了一种增强大型语言模型（LLMs）的新方法。我们的模型通过训练知识矿工 LLMiner 自动从相关文档中提取问题和答案对，并将这些 QA 对与对话数据集结合来对 LLM
PDF7 months ago
EMNLPCLMSM：面向过程文本预训练的多任务学习框架
提出了 CLMSM：一种针对特定领域的连续预训练框架，通过学习大量过程配方来优化两个目标，一是使用硬三元组的对比学习来学习程序实体间的细粒度差异，二是使用新颖的遮蔽 - 步骤建模目标来学习步骤的上下文。通过在三个数据集上进行实体跟踪和动作对
PDF8 months ago
EMNLP探索 - 指导：通过主动探索增加领域特定指导范围
通过数据探索实现领域指导调整的数据覆盖增强方法，提高指导模型的颗粒化理解和交流能力，并在多个基准测试中取得显著进展，为改善特定领域中的指导覆盖提供了有希望的机会，推进可适应性语言模型的发展。
PDF9 months ago
领域特定抽象摘要的挑战及其克服方法
本文讨论大型语言模型在特定领域摘要文本生成中的局限性，特别指出了基于 Transformer 的模型复杂度与模型崩溃的问题，并探讨了解决现有研究中存在的问题的相关技术。
PDFa year ago
PRISMA-DFLLM: 一种基于领域特定调优大语言模型的系统文献综述扩展方法
本文提出了一种结合大型语言模型和系统性文献综述的方法论框架 PRISMA-DFLLM，以实现更高效、可重复性和可扩展性的文献综述并开展增量式的无限制系统性文献综述。
PDFa year ago
ICLR利用辅助领域并行数据进行中间任务微调，用于低资源翻译
本文研究表明，在缺乏足够的平行数据进行微调的情况下，基于预训练多语言序列 - 序列（PMSS）模型训练的 NMT 系统会受到影响，尤其是这些模型中缺少或代表不足的语言。当数据来自不同的领域时，问题会加剧。本文表明，对 PMSS 模型进行中间
PDFa year ago
评估基于领域专属知识库的端到端实体链接：从博物馆藏品学习古代科技
本研究旨在探究使用现代实体链接方法对博物馆收藏数据进行丰富的可能性，结果表明，正交纠正的实体链接模型在该领域的性能明显优于其他现有方法。
PDFa year ago
强化大型语言模型在工业领域特定问题回答上的表现
本研究提供了一个基于微软产品和技术问题的产业特定 QA 知识的检测基准 MSQA，旨在评估旨在提高 LLM 领域特定能力的方法。此外，我们提出了一种新的模型交互范式，可以使 LLM 在不熟练的领域特定任务上实现更好的性能。实验表明，遵循我们
PDFa year ago
ACLReMask：域反事实生成的鲁棒信息遮盖方法
本文提出了一种三步域混淆方法，通过基于频率和注意力规范的掩盖来遮蔽特定于域的线索，并揭示域泛化上下文，从而实现了领域反事实样本的生成，通过实验验证本方法在领域情感分类、对抗领域适应和多领域意图分类任务中的有效性。
PDFa year ago
ACL车辆维修领域可能使用的材料学习 —— 以钢材为例？
我们提出了一种新的方法，通过探究预训练的语言模型（PLMs）中的填充式任务设置来学习车辆维修领域中组件的特定于领域的可能材料，以克服缺少注释数据集的问题。我们设计了一种新的方法来汇总一组填充式查询模板中显著的预测结果，并表明使用小型、高质量
PDFa year ago
统一大型语言模型与本地微调模型在高度特化的放射学自然语言推理任务中的权衡探索
本文评估了 ChatGPT / GPT-4 在放射学自然语言推理任务上的性能，并将其与其他针对任务相关数据样本进行微调的模型进行比较。结果显示，构建能解决不同领域的各种任务的通用模型是可行的。
PDFa year ago
处理软件工程文档所需的停用词：它们很重要吗？
探讨在软件工程背景下，使用领域特定的停用词表是否可以提高自然语言处理中停用词去除方法的性能表现，并在相关工作的基础上复制实验了三个软件工程研究工具。结果表明，使用领域特定的停用词可以显著提高研究工具的性能，并且 17 个评估指标都显示出更好
PDFa year ago
用于开发 AI 软件领域语言模型的统一知识图谱服务
通过使用知识图谱增强任务特定的训练程序，我们提出了 KnowledgeDA 作为一个统一而低代码的领域语言模型开发服务，实现了两个领域的语言模型学习，并进行了五项领域特定 NLP 任务的实验证明。
PDF2 years ago
CliMedBERT：面向气候和健康相关文本的预训练语言模型
本文提出了在气候和健康领域开发多个领域特定的语言模型，通过捕捉可用的知识来解决各种任务，从而消除气候变化对人类健康的影响。这是第一篇在这些领域考虑开发多个领域特定语言模型的工作，并将所开发的模型、资源和代码库提供给研究人员。
PDF2 years ago
EMNLP生成、注释并使用合成数据的管道以用于现实世界中的问答
本文介绍了如何使用合成领域特定数据集来改进问答的性能，通过实验表明使用该方法 fine-tune 下游模型的表现得到了显著的提升。
PDF2 years ago
基于远程监督迭代训练的粗到细的知识图谱领域适应
本文针对现代深度学习神经网络模型需要大量手动标注数据以及从大量文本数据中构建领域特定知识图谱的困难问题，提出一个将知识图谱自适应和重新学习应用于不需要手动注释训练数据的领域适应性构建的综合框架，并引入了一种新的迭代训练策略来促进领域特定命名
PDF2 years ago