浪潮信息发布源2.0-M32大模型4bit和8bit量化版，性能比肩700亿参数的LLaMA3开源大模型。其中，4bit量化版推理运行显存仅需23.27GB，处理每token所需算力约为1.9 GFLOPs，算力消耗仅为同等当量大模型LLaMA3-70B的1/80。源2.0-M32大模型是浪潮信息“源2.0”系列大模型的最新版本，其创新性地提出和采用了“基于注意力机制的门控网络”技术，构建包含32个专家(Expert)的混合专家模型(MoE)，模型运行时激活参数为37亿。（美通社）
真灼财经 >
公司 >
正文
浪潮信息“源2.0”系列大模型最新版本发布
来源：真灼财经 时间：2024-08-25 14:00:13
字号
微信扫码 > 右上角点击 > 分享