清华&哈工大提出极限压缩方案——OneBit框架
自从大模型大爆后,我们对压缩大模型的愿望从未消减。虽然大模型在很多方面表现出优秀的能力,但高昂的的部署代价极大提升了它的使用门槛。这种代价主要来自于空间占用和计算量。
清华&哈工大提出极限压缩方案——OneBit框架。该框架通过1bit量化方法实现了对大型模型权重的超过90%的压缩,并保留了大部分模型的性能。文章详细介绍了OneBit框架的设计思路、1bit模型结构、参数初始化方法以及深度迁移学习的应用,展示了其在大幅度压缩、低空间占用和有限计算成本下保留模型能力的优势。