DLCM-字节跳动推出的动态大概念模型框架

DLCM-字节跳动推出的动态大概念模型框架

文章来源:智汇AI    发布时间:2026-01-07

DLCM(Dynamic Large Concept Models)是字节Seed团队推出的新型大语言模型架构。框架将模型的推理单位从传统的token(词)提升

暂无访问

DLCM是什么

DLCM(Dynamic Large Concept Models)是字节Seed团队推出的新型大语言模型架构。框架将模型的推理单位从传统的token(词)提升到concept(概念)层级,通过动态且自适应的方式学习语义边界,将token序列分割成概念,在压缩的概念空间中进行深度推理,通过因果交叉注意力将概念级推理结果重构为token级预测。DLCM在推理阶段显著降低了计算量(FLOPs降低34%),同时将平均准确率提升2.69%,实现更高效、更精准的推理,为大语言模型的优化提供新思路。

DLCM

DLCM的主要功能

动态语义分割:根据语义边界动态划分概念,将token序列压缩为概念序列。

相关推荐