AHAM: 适应、帮助、询问、建模 -- 为文献挖掘提取 LLMs
该论文介绍了一种神经主题模型 TopicAdapt,可以从一个相关的源语料库中适应相关主题,并在目标语料库中发现源语料库中缺失的新主题,实验结果表明,该模型在多个领域的多个数据集上表现优于现有的主题模型。
Oct, 2023
本文介绍了两种使用 LLaMA 的零样本 ASR 领域适应方法,这两种方法可以通过一个领域特定的文本提示有效地减少跨领域 TedLium-2 和 SPGISpeech 数据集上的词错误率(WER),特别是,深度 LLM-fusion 具有更好的实体召回和词汇外单词的召回优势。
Jun, 2023
这篇论文关注通过一种名为 AGREE 的新框架,综合地改善大型语言模型在真实世界中的应用,以解决其生成的 “幻觉” 答案不符事实的问题。通过在生成的自身立足回答中考虑所生成的支持信息,设计了一种迭代的测试时间调整能力来有效实现该框架,并通过提供引用来调整大型语言模型对检索文档中主张的立足。结果表明,基于调整的 AGREE 框架相较于基于提示的方法,生成了更好的基于立足的回答和更准确的引用。
Nov, 2023
使用大型语言模型(Llama V1)作为数据生成器,通过在复杂的学科层次结构中对研究提案进行采样,并设计基于关键词的研究提案生成方法,旨在解决数据不平衡问题,提高专家分配的公平性。实验结果表明,使用这种方法生成的研究提案能够有效解决前述问题,并生成高质量的科学文本数据,有助于模型克服数据不平衡问题。
Oct, 2023
本文提出了一种新颖的方法使用基于 5-gram KenLM 语言模型的缩放相似性分数,尤其是对于相关语言,该方法使用 Kneser-ney 平滑技术从域内数据中过滤出域外数据,以提高机器翻译的翻译质量。 此外,我们采用了其他域自适应技术,如多域、微调和迭代回译方法,以比较我们在 Hindi-Nepali 语言对上的新方法在 NMT 和 SMT 上的效果,我们的方法在多域方法上增加了约 2 个 BLEU 点,在微调 NMT 方面提高了约 3 个 BLEU 点,在迭代回译上提高了约 2 个 BLEU 点。
Mar, 2023
本文提出一种新的名为 Hierarchical Latent Semantic Mapping (HLSM) 的主题生成方法,它可以自动从语料库中生成主题,并使用单词之间的关联和层次生成主题网络。实验表明,相比于现有的一些最先进的方法,HLSM 在几个文档集合上表现良好。
Nov, 2015
本文介绍了一种模块化的领域适应过程,强调模型生成者和模型使用者可以独立合作,以便更准确地测量文本特性。通过使用两种轻量级技术,本文在使用线性和上下文嵌入模型的四个多域文本分类数据集上证明了这些技术的可靠性,以提高领域外精度,并提出了对模型生成者和使用者的建议。
Apr, 2022
本研究提出了一种利用预训练语言模型进行领域特定数据增强的领域自适应新方法,通过该方法,配合回译技术,可生成大量合成双语的领域内数据,从而显著改进了机器翻译的领域内文本的翻译效果。人工评估结果进一步证实了自动评估结果的准确性。
Aug, 2022
我们提出了 WALM (Words Agreement with Language Model) 这一新的主题建模评估方法,综合考虑语义质量,旨在提供一种全面性评估。WALM 与人员判断一致,可作为现有评估方法的补充,为主题建模带来了新的视角。
Jun, 2024
本文介绍了一种作者归属方法,即作者语言模型 (ALMs),它通过对一组候选作者的文本进行经验修正得到的调整语言模型的困惑度,从而识别问询文档的最有可能的作者。我们使用 CCAT50 数据集和 Blogs50 数据集对 ALMs 进行了基准测试,并发现 ALMs 在 Blogs50 上达到 83.6% 的宏平均准确率,超过所有其他方法,在 CCAT50 上达到 74.9% 的宏平均准确率,与最好方法的性能相当。此外,我们还进行了关于短文本的删除测试,结果发现为了达到 70% 的宏平均准确率,ALMs 需要在 Blogs50 上有 40 个词元,在 CCAT50 上有 400 个词元,而为了达到 60% 的宏平均准确率,ALMs 需要在 Blogs50 上有 20 个词元,在 CCAT50 上有 70 个词元。
Jan, 2024