Jun, 2024

CERET: 文本生成的经济外部修正

PDF
TL;DR通过考虑语义稳定性、蕴涵和样本间不确定度的方法，我们提出了 CERET，以改进文本生成的质量，实验结果表明 CERET 在各种任务设置下持续优于其他方法，相对于 LLM 自排方法，我们的方法仅需其延迟的 9.4% 且更具成本效益。
发现论文，激发创造
  • 系统自我修正改进的基于 LLM 的机器翻译

    使用大型语言模型的自我纠正翻译框架 TER，在不同语言、高资源和低资源语言之间实现了大幅度的翻译质量提升，并比较了不同的模型和估计策略对翻译质量的影响，同时探究了语言模型的评估能力与翻译质量之间的潜在关系。

    Feb, 2024

  • 让大型语言模型能够生成带有引文的文本

    这项研究介绍了 ALCE，一个自动化 LLMs 引用评估的评测基准，通过自动度量三个维度 - 流畅度、正确性和引用质量，强调了更好的检索器、长文本 LLMs 等方向的改善空间。

    May, 2023

  • 多阶段检索管道中 BERT 重新排序器的训练思考

    本文提出了一种名为局部对比估计的方法，用于训练基于深度先前训练的语言模型的重排器，以实现更好的文本检索性能，实验证明本方法显著优于现有的基于深度两阶段模型。

    Jan, 2021

  • 提升大型语言模型性能以更准确地回答问题和提取信息

    通过精调模型和对称相似度、LLM 评估和 Rouge-L 分数等指标的连续反馈循环来提高人工智能模型，利用金融数据集和检索增强生成技术 (RAG)，证明精调模型在问题回答能力方面能够超越零 - shot LLMs 的准确性。

    Jan, 2024

  • N-Critics: 大型语言模型的自我提升与评论家集成

    提出了一种用于改善大型语言模型的自我纠正机制，通过批评家与模型自己的反馈对模型输出进行精炼，以减轻毒性和事实幻觉等问题。通过人类行为的启发，探讨了大型语言模型是否可以模仿人类的自我纠正过程，即借助自评和寻求他人意见来完善对复杂主题的理解。该方法与特定模型无关，可应用于各个领域，通过解决公平性、偏见和鲁棒性问题，提高可信度。我们始终观察到大型语言模型在减少毒性和纠正事实错误方面的性能改进。

    Oct, 2023

  • 检索重构：大规模语言模型推理

    本文提出了一种名为 'rethinking with retrieval' (RR) 的后置处理方法，借助 'chain-of-thought' (CoT) 提示中的分解推理步骤检索相关的外部知识，从而改善大语言模型在常识推理、时间推理和表格推理等方面的性能。

    Dec, 2022

  • 自我改进：带自反馈的迭代改进

    通过引入 SELF-REFINE 框架，可以通过迭代反馈和改进从 LLMs 获得更好的输出，同时不需要监督训练数据或强化学习，且在 7 种任务中展现出优越性能。

    Mar, 2023

  • 通过基于大型语言模型的文本补充和重写增强嵌入性能

    利用大型语言模型丰富和重写输入文本，改善嵌入模型的性能，并在特定领域取得显著改进。

    Apr, 2024

  • 利用大语言模型学习低资源语言的翻译质量评估

    使用大型语言模型，无需人工注释，将合成数据集混合到现有数据集中，可以提高低资源语言的 BLEURT 模型性能。

    Feb, 2023

  • 为机器翻译学习紧凑的度量

    使用 RemBERT 模型的实验表明，模型大小限制了跨语言转换的效率，将知识从一名教师传递到以相关语言训练的多个学生可以通过蒸馏解决这个问题，该方法可以使性能提高 10.5％，并仅使用 RemBERT 的三分之一的参数即可达到 92.6％的性能。

    Oct, 2021