- 通过细粒度监督对齐大型语言模型
通过细粒度的分词级监督来增强预训练的大规模语言模型（LLM）的对齐，该方法可提高 LLM 性能的绝对改善率高达 5.1％，与传统的 PPO 模型相比，训练集是通过最小编辑来改善标准奖励模型数据集中较不受欢迎的回答，以确保在必要的地方进行改动 - 一个用于豪萨、约鲁巴和伊博语言的冒犯性语言和仇恨言论检测的多语言数据集
为了在多语言环境中有效检测网络攻击性言论，本研究使用来自 Twitter 的数据，并通过手动注释创建了三种主要尼日利亚语言（豪萨语、约鲁巴语和伊博语）的侮辱性言论检测的新数据集。我们使用预训练的语言模型评估其在我们的数据集中检测侮辱性言论的 - 扩展心智转换器
预训练语言模型在推理时过长的输入会迅速成为记忆信息的瓶颈。本文提出了一种简单的方法，使用记忆转换器给模型提供预先计算的记忆库，通过批判性评估定位编码应如何更新以检索关键信息，而非使用外部嵌入。我们展示了在大多数解码器层中检索外部信息的重要性 - 通过探索进行 Fine-Tuning 的大型语言模型，转变计算机安全与公众信任
探讨大型语言模型在恶意服务 Mallas 的滥用方面的有效性和漏洞，以及针对已识别漏洞生成代码和解释文本的微调方法。研究旨在揭示 Mallas 的操作策略和攻击技术，从而为开发更安全可信赖的人工智能应用程序提供指导。强调进一步研究、增强保护 - ACL通过对比使用来锻造语言模型自我抄袭中的独创性
通过采用对比解码策略来提高预训练语言模型产生原创内容的独特方法，观察了在学术和故事数据集中超过三个词的非原创序列的显著下降。
- 大型语言模型的自动指令演化
Auto Evol-Instruct 是一个自动分析和总结适合给定指令数据的进化策略，并通过改进指令进化过程中暴露的问题，迭代提高进化方法的端到端框架。通过广泛的实验证明，Auto Evol-Instruct 优化的最佳方法在 MT-Ben - ACL大型语言模型的分阶段指导微调
通过渐进对齐的假设，我们提出了一种新颖的分阶段指令微调（Phased IFT）方法，基于难度评分并使用逐步训练的方式显著地提高了预训练语言模型的指令遵循能力。
- 使用直接偏好头进行语言模型的推理时间对齐
通过使用强化学习和直接偏好头的 fine-tuning 框架，将预训练语言模型与人类偏好信号相结合，实现对模型输出的控制，并在各项评估中超越传统的有监督和直接偏好优化方法。
- DGRC: 一个有效的中文多项选择阅读理解中干扰项生成的微调框架
本研究介绍了一种名为 DGRC 的细调框架，用于生成中文多项选择阅读理解中的干扰项。实验结果表明，DGRC 显著提高了生成性能，BLEU 得分提高了 2.5 倍以上。
- iREL 参加 SemEval-2024 任务 9：改进传统提示方法以解决脑筋急转弯
这篇论文描述了我们在 SemEval-2024 任务 9 中的方法：BRAINTEASER：一项挑战常识的创新任务。BRAINTEASER 任务包括多项选择问答，旨在评估模型的横向思维能力。它由句子拼图和单词拼图子任务组成，要求模型打破默认 - 面向设备的大气象模型个性化适配器：迈向天气基础模型
基于预训练语言模型的天气模型 LM-Weather 通过引入个性化轻量级适配器，使得设备能够高效地获取高度定制的气象模型，进一步提高了通信效率并确保了隐私，广泛的实验证明了其在天气预测和插值等任务上相较于现有方法具有更好的性能。
- ACLCEEBERT：早期退出 BERT 的跨领域推断
提出了一种名为 CeeBERT 的在线学习算法，该算法通过根据每个退出点处的置信水平动态确定样本的早期退出，从而消除了标记数据的需求，并且在最少降低性能的情况下改善了延迟。
- ACLViHateT5：使用统一的文本转换器模型增强越南语中的仇恨言论检测
我们引入了基于 T5 架构的 ViHateT5 模型，该模型在我们提出的大规模领域特定数据集 VOZ-HSD 上进行了预训练，通过利用文本到文本架构的优势，ViHateT5 可以使用统一的模型处理多个任务，并在越南语的所有标准 HSD 基准 - ReALLM：LLM 压缩与微调的通用框架
一种新颖的方法 ReALLM 用于对预训练语言模型进行压缩和内存高效自适应，包括大多数的后训练量化和微调方法，用于 4 位以下的预算。
- 探索阿拉伯语中的说服技巧：利用大型语言模型的实证研究
本研究针对阿拉伯社交媒体内容，利用预训练语言模型（PLMs）进行了全面的经验研究，旨在识别其中的说服技术。通过特征提取、微调和提示工程技术三种学习方法的实验比较，得出微调方法在二分类和多标签分类任务上取得了最高结果，f1-micro 分数为 - PLM4Traj：使用预训练语言模型识别轨迹的运动模式与旅行目的
通过利用预训练语言模型（PLM）建立一个名为 PLM4Traj 的模型，该模型能够适应不同任务，有效地提取出嵌入在轨迹中的运动模式和旅行目的，从而解决了原始 PLMs 在建模轨迹时的不足，为轨迹学习提供了通用的解决方案。
- 大型语言模型的国际化综述：最新进展和新的研究方向
对大型语言模型（LLMs）在多语种环境中的应用进行了综述，包括训练和推理方法、模型安全性、多领域与语言文化、数据集使用，同时讨论了相关方面的主要挑战和潜在解决方案，并提出了进一步增强语言模型的未来研究方向。
- 基于 LLM（GPT-3）的情感分析的优化技术
本论文旨在探索基于大型预训练语言模型（如 GPT-3）的情感分析优化技术，以提高模型性能和效果，并进一步促进自然语言处理（NLP）的发展。通过介绍情感分析的重要性和传统方法的局限性，介绍了 GPT-3 和微调技术，并详细解释了它们在情感分析 - 众工合力：面向任务的模块化专家混合对话系统
通过使用一组专家混合集成方法，提出了 SMETOD 任务导向对话系统，其中可以优化子问题的结果并为任务导向的对话生成专业化输出，这样既能扩展对话系统又能保持推理效率，并在多项指标上实现了最先进的性能。
- APrompt4EM：增强提示调优通用实体匹配
该研究介绍了一种增强的提示调整框架，用于通用实体匹配中的低资源挑战，包括上下文化软记号提示调整方法和成本效益的信息增强策略。实验结果显示，该方法在低资源实体匹配方面取得了显著的进展。