面壁智能发布新一代端侧多模态大模型 MiniCPM-V 4.7,仅 3GB 内存可实现 13+ token/s 解码速度
面壁智能于 10 月 13 日发布新一代端侧多模态大模型 MiniCPM-V 4.7,提供 35B-A3B 和 1B 两种规格,其中 35B-A3B 是该系列首个 MoE 模型。
面壁智能把 MoE 架构带进端侧多模态模型,3GB 内存即可运行大参数模型,本地部署的硬件门槛继续下探。
- 影响数据需留在设备端的移动场景多了一个本地多模态候选方案;跨 iOS、安卓、鸿蒙与多类芯片的适配降低了多设备部署成本;性能与对比数据均为官方口径,选型前需按自身场景实测。
- 参考可考虑把需要本地推理的移动业务场景列入实测清单,用自有数据对比云端方案;值得先算出端侧部署相对云端调用的成本与数据合规差异。