面壁智能发布端侧大模型“前进四”MiniCPM4.0,号称性能大小王

面壁智能发布端侧大模型“前进四”MiniCPM4.0,号称性能大小王

文章来源:智汇AI    发布时间:2025-06-12

该公司称新模型通过自研 CPM.cu 推理框架,在极限场景下实现最高 220 倍提速,常规 5 倍提速,支持在 vLLM、SGLang、LlamaFactory 等框架部署。

暂无访问
感谢智汇AI网友四文鱼的线索投递!

智汇AI6月7日消息,面壁智能6日晚发布端侧大模型MiniCPM4.0。该公司称新模型通过自研CPM.cu推理框架,在极限场景下实现最高220倍提速,常规5倍提速,支持在vLLM、SGLang、LlamaFactory等框架部署。

此次发布的一款8B闪电稀疏版,采用创新稀疏架构掀起高效风暴;另一款0.5B则被称作“轻巧灵动的最强小小钢炮”。

据官方介绍,此次面壁推出的MiniCPM4.0系列LLM模型拥有8B、0.5B两种参数规模,针对单一架构难以兼顾长、短文本不同场景的技术难题,MiniCPM4.0-8B采用「高效双频换挡」机制,能够根据任务特征自动切换注意力模式:在处理高难度的长文本、深度思考任务时,启用稀疏注意力以降低计算复杂度,在短文本场景下切换至稠密注意力以确保精度,实现了长、短文本切换的高效响应。

据智汇AI了解,MiniCPM4.0可在vLLM、SGLang、LlamaFactory、XTuner等开源框架部署。其内置自研CPM.cu极速端侧推理框架,从投机采样创新、模型压缩量化创新、端侧部署框架创新几方面,带来90%的模型瘦身和速度提升,官方宣称将实现端侧推理“从天生到终生”的丝滑。

相关推荐