Meta推LlamaRL强化学习框架：全异步分布设计，训练AI模型提速10.7倍
文章来源：智汇AI 发布时间：2025-06-18
科技媒体 marktechpost 昨日（6 月 10 日）发布博文，报道称 Meta 公司推出 LlamaRL 框架，采用全异步分布式设计，在 405B 参数模型上，LlamaRL 将强化学习步骤时间从 635.8 秒缩短至 59.5 秒，速度提升 10.7 倍。
暂无访问智汇AI6月11日消息，科技媒体marktechpost昨日（6月10日）发布博文，报道称Meta公司推出LlamaRL框架，采用全异步分布式设计，在405B参数模型上，LlamaRL将强化学习步骤时间从635.8秒缩短至59.5秒，速度提升10.7倍。
智汇AI注：强化学习（ReinforcementLearning，RL）通过基于反馈调整输出，让模型更贴合用户需求。随着对模型精准性和规则适配性的要求不断提高，强化学习在训练后阶段的重要性日益凸显，持续优化模型性能，成为许多先进大语言模型系统的关键组成部分。
将强化学习应用于大语言模型，最大障碍在于资源需求。训练涉及海量计算和多组件协调，如策略模型、奖励评分器等。模型参数高达数百亿，内存使用、数据通信延迟和GPU闲置等问题困扰着工程师。
Meta推出的LlamaRL框架，采用PyTorch构建全异步分布式系统，简化协调并支持模块化定制。通过独立执行器并行处理生成、训练和奖励模型，LlamaRL大幅减少等待时间，提升效率。
LlamaRL通过分布式直接内存访问（DDMA）和NVIDIANVLink技术，实现405B参数模型权重同步仅需2秒。
在实际测试中，LlamaRL在8B、70B和405B模型上分别将训练时间缩短至8.90秒、20.67秒和59.5秒，速度提升最高达10.7倍。
MATH和GSM8K基准测试显示，其性能稳定甚至略有提升。LlamaRL有效解决内存限制和GPU效率问题，为训练大语言模型开辟了可扩展路径。
相关推荐
