training corpora | BriefGPT

关键词training corpora

搜索结果 - 11

构建大规模的日语网络语料库用于大型语言模型
通过从 Common Crawl 档案中提取和精炼文本，该研究构建了一个大型的日语网页语料库，用于训练日语大型语言模型。该语料库包含大约 3121 亿个字符（约 1.73 亿页），是目前可用的日语训练语料库中最大的，超过了 CC-100、m
PDF2 months ago
基于大型语言模型中的文本、概率和隐藏状态的记忆洞察
通过比较存储和非存储之间的差异，我们提出了一种名为 ROME 的新方法，用于研究大型语言模型的记忆化能力。实验结果显示，包括词长、词性、词频、平均值和方差在内的多方面因素存在差异。
PDF4 months ago
发展性数据课程学习对语法习得的影响
本研究探讨了语法习得受语言 ' 简易性 ' 和数据来源模态（语音与文本）的影响程度。通过使用 BabyBERTa 作为探针，发现语法习得主要受到语音数据的影响，尤其是通过接触 AO-Childes 和 Open Subtitles 两个训练
PDF8 months ago
通过困惑度估计污染情况：量化语言模型评估中的记忆效应
最近的研究显示在大规模语言模型的训练语料中普遍存在数据污染问题，而现有的污染分析方法需要访问完整的训练数据，这常常限制了对这些模型的严格审计和准确评估。本文提出了一种新的方法来量化数据污染，通过困惑度来衡量污染程度，相关分析显示近期基础模型
PDF9 months ago
语言模型中复杂技能的出现理论
通过对语言模型的参数集和训练语料库进行扩展，可以产生新的技能，该现象对于 AI 产品的发展具有重要推动作用。本文采用简单的统计框架和知名的扩展定律分析了新技能的出现，揭示了预训练模型在学习过程中的高效性。
PDFa year ago
EMNLP基于语言规则的本地化中文语法纠错语料库生成
本文提出了一种基于语言规则的方法来构建自动生成语法错误的大规模中文语法错误纠正训练语料库，并提出了一个挑战性的中文语法错误纠正基准，旨在解决当前缺乏高质量标注的训练语料库和测试集不是由中文母语人士制作的问题。实验结果表明，我们提出的训练数据
PDF2 years ago
混搭：关于多语言文本转语音训练语料库组成的实证研究
本研究通过全面的消融研究，旨在了解训练语料库的各种因素，例如语言家族关系、性别构成和说话人数是如何对多语音合成质量的贡献的，并得出了女性说话数据在大多数情况下是首选的结论，并且并不总是从目标语言方言中拥有更多说话者对训练语料库有益，这些发现
PDF2 years ago
AAAI驾驭内心恶魔：语言模型自我解毒
本文研究了语言模型在训练过程中产生有毒语言并放大的现象，分析研究了提示，解码策略和训练语料对于产生有毒输出的影响，提出一种简单而有效的 “解毒” 方法。和监督基准相比，我们提出的方法在多重设置下显示出更好的毒性降低和生成质量。
PDF2 years ago
谁的语言算是高品质？测量文本数据选择中的语言意识形态
本文使用美国高中学生撰写的报纸文章，研究了 GPT-3 质量筛选器偏向于哪些学校、地理区域和社会阶层的语言。研究发现质量筛选器的质量测量与事实和文学赞誉等合理指标不一致，强调任何语料库为高质量都涉及到语言意识形态，需要更谨慎地构建语言模型培
PDF2 years ago
EMNLP低资源抽象摘要的多任务学习探究
研究了在小规模训练语料的情况下，使用多任务学习进行抽象摘要的效果。通过将四项不同任务（抽取式摘要、语言建模、概念检测和释义检测）单独和结合使用，得出训练多任务模型比训练仅用于抽象摘要的模型效果更好的结论。在全面搜索中，发现某些任务（如释义检
PDF3 years ago
DIRE：神经网络方法用于反编译标识符命名
该研究提出了一种新的概率技术，使用反编译器恢复的词法和结构信息进行变量名恢复，同时介绍了生成适合用于训练和评估反编译代码重命名模型的技术，通过在 GitHub 挖掘 C 项目生成含 164632 个唯一 x86-64 二进制文件的数据集，实
PDF5 years ago