- 跨身份相关语言特征中 NLG 系统的观察和期望
揭示了关于 NLG 系统行为的公平性相关假设,从不变性到适应性,通过对不同类型的与身份相关的语言特征(姓名、角色、位置、方言和风格)在 NLG 系统输入中的扰动进行了五个案例研究,阐明了在不变性和适应性之间的紧张关系;概述了人们对系统行为的 - EMNLP自我评估适配提高 LLMs 的选择性预测能力
基于自评估的自适应选可信度模型,通过使用参数高效调整适应大型语言模型到特定任务,提高其自评估能力,以改善选择性预测性能。在多种问答数据集上的评估结果显示,该方法优于现有的选择预测方法。
- 动态模块扩展与调整的终身序列生成
基于类人学习范式,提出了动态模块扩展和适应方法 (DMEA),用于在连续生成任务中动态确定模型架构以获取新知识,从而在不同的 LSG 设置中明显优于现有方法。
- 优先软 Q 分解用于词典式强化学习
通过在连续空间的基础上处理优先级子任务,我们提出了一种用于学习和调整子任务解决方案的新算法 PSQD,允许重复使用先前学到的子任务解决方案,并通过融合和调整来满足任务优先级约束。
- 自适应在线非随机控制
我们通过设计新的正则化技术,并将其与未经验证的未来成本预测相结合,实现了自适应于环境的 Non-stochastic Control 算法,这些算法通过考虑系统的内存具有新的数据自适应策略回归界限,并能在准确预测时收缩,即使全部失败时仍保持 - 快速网络调整:利用测试时反馈学习适应神经网络
提出了一种适应神经网络在测试时分布发生变化的方法,通过闭环系统和测试时反馈信号来在实时中进行网络的适应,该方法使用基于学习的函数来实现很好的效果,使适应比基准方法更加灵活和快捷。
- 基于不确定性的在线抓取学习的探索策略
该研究提出了一种用于机器人抓取预测的在线学习方法,通过有效的探索策略显著提高了其适应未知环境设置的性能,该方法根据贝叶斯不确定性量化和分布集成提出了各种不确定性估计方案,并在不同难度的实际场景中进行了评估,结果显示与传统在线学习方法相比,该 - PoSE: 通过位置跳跃训练实现 LLMs 的高效上下文窗口扩展
本文介绍了 Positional Skip-wisE(PoSE)训练方法,用于将大型语言模型(LLMs)高效地适应于极长的上下文窗口。通过在训练过程中使用具有操作位置索引的固定上下文窗口来模拟长输入,PoSE 将训练长度与目标上下文窗口大小 - 智能机器在非结构化环境中的差分神经计算工作
通过提取环境信息的主要特征并将相关编码刺激应用于忆阻器,我们成功地在处理非结构化环境信息方面获得了类人的能力,比如机械刺激的放大(>720%)和适应性(<50%)。这种方法还在智能机器的两个典型应用(物体抓取和自动驾驶)中展示了良好的可扩展 - 图像获取与患者表型差异对自动分割模型泛化的作用
通过评估自动医学图像分割模型在领域外的表现和泛化能力,特别关注适应新的图像采集和疾病类型,本研究使用非对比增强的腹部 CT 扫描数据集,包括健康患者和多囊肾病(PKD)患者,证明广泛的训练示例显著提升模型泛化和领域外表现,从而改进临床应用中 - 机器人与非固定人员之间的有效协作行为变压器
提出了一个基于元学习框架的行为转换方法(BeTrans),实现了机器人代理与具有非稳态行为的人类代理的有效协作和快速适应,解决了人机协作中由于人类行为变化引起的非稳定性问题。
- 低资源印度语言中语音识别模型的调整
通过利用语音和文本资源采用适应和微调技术,提高了印度语言 Bengali 和 Bhojpuri 的自动语音识别(ASR)性能,并通过多模态数据了解每种模态在构建可靠 ASR 方面的重要程度以及解决全球各种语言中的低资源问题的潜在解决方案。
- 强化学习中的 Transformers:综述
本文介绍了 transformers 在 reinforcement learning 中的应用,包括表示学习、转移和奖励函数建模,策略优化等多个方面,并讨论了可视化技术和高效训练策略的应用,以提高 transformers 的解释性和效率 - 复杂系统中的无监督学习
本论文探讨了利用复杂系统研究自然和人工系统的学习和适应能力,旨在开发能够无需监督学习、自主发展并随时间变得越来越复杂的自主系统。复杂系统被视为理解这些现象的适当框架,因其能够展现复杂性的增长能力。通过理解复杂系统中学习的基本原理,我们希望能 - LLaMA 临床领域参数高效微调
通过有选择地微调部分参数以降低计算需求,提出了一种在临床领域中适应预训练语言模型的方法,并通过与 Downstream LLaMA-LoRA 相结合,在多个临床预测任务上取得了最先进的 AUROC 得分提升,并在大规模多标签分类任务中观察到 - 跨域小样本学习的双自适应表示对齐
本文提出了一种基于元学习的双自适应表示对齐方法,针对跨域小样本学习问题,在极少量样本的情况下,通过特征和分布的对齐,实现了更好的泛化能力及更高的成果。
- AI 辅助人类决策中的精度与时间自适应干预
在高精准性和高时效性的情境中,为了医生在急诊室等场合提供既提高准确性又缩短用时的 AI 辅助,本文提出通过根据问题和用户的不同属性,适应性的选择 AI 辅助类型来平衡目标的研究,并在用医生为外星人开具药品做实验得出需要适应性的 AI 辅助类 - 将人类放入图像字幕循环中
通过人工反馈训练图像字幕模型,使其适应特定用户数据,并采用稀疏记忆重播组件避免灾难性遗忘,从而实现自定义图像字幕模型。
- 大型语言模型中的元上下文学习
本文介绍了大型语言模型在上下文学习中的递归学习能力,即元上下文学习。作者以两个理想化的领域为例,展示了元上下文学习是如何适应性地重塑大型语言模型对预期任务的先验知识,并修改其上下文学习策略。最后,作者通过真实世界回归问题的基准测试发现,元上 - 多语言自监督和弱监督语音预训练与适应未见语言的比较
本文研究了两个多语言语音模型在适应未见语言上的性能比较,发现模型的预训练数据中包含的语言家族数量和训练时长能预测模型的表现,与预训练方法的差异不相关。