PrismML 发布 Ternary Bonsai 2 系列模型，iPhone 18 Pro Max 本地最高每秒 120 词元
Ternary Bonsai 2 系列 AI 模型登场：苹果 iPhone 18 Pro Max 上本地吞吐最高每秒 120 个词元
- 1PrismML 发布 Ternary Bonsai 2 系列模型，共 2B、4B、9B 三档，基于阿里 Qwen 3.5 基座
- 2官方称三档存储占用约 0.43GB、0.95GB 和 2GB，目标在手机、PC 和可穿戴设备上本地运行智能体
- 3官方称较全精度模型最高 5 倍吞吐、3 倍能效，iPhone 18 Pro Max 上 2B 达每秒 120 词元
- 4官方称 9B 模型执行指令和日常数学任务所需 token 约减 40%，权重以 Apache 2.0 许可开放
在手机和电脑本地运行智能体多了体积更小的选项，存储与算力门槛继续下探，但性能数字目前只有厂商口径。
- 影响：智能体可在员工手机和电脑上本地运行，数据不出设备，适合对数据出域敏感的场景；存储占用 0.43GB 到 2GB，多数现有设备可承载；Apache 2.0 开放权重，可私有化部署。
- 参考：可考虑选一个数据不宜出域的场景，用 llama.cpp 或 MLX 在现有设备上试跑 2B、4B 档，实测吞吐与任务质量；值得先盘点存量设备能否承载 9B 档。
- 依据：吞吐、能效与省 token 数据均为 PrismML 官方口径，暂无独立验证；存储占用与基准覆盖为厂商公布数字。
IT之家 10 月 16 日消息，AI 公司 PrismML 昨日（10 月 15 日）发布博文，宣布推出 Ternary Bonsai 2 系列模型，共有 2B、4B 和 9B 三种规模，目标在手机、PC 以及可穿戴设备上本地运行 AI 智能体，执行推理、识图、调用工具等能力。
Ternary Bonsai 2 系列模型基于阿里的 Qwen 3.5 基座构建，采用“三元”权重表示法，即仅用 -1、0、+1 三种数值编码模型参数。官方称，2B、4B、9B 模型的存储占用分别约为 0.43GB、0.95GB 和 2GB。
在能力上，Bonsai 2 系列强调本地智能体的实用性：遵循指令、完成日常任务、在移动设备上调用工具、避免重复输出等。官方在 19 项基准上测试了智能工具调用、数学、指令遵循、编程、知识与推理、视觉理解六类能力；其中 9B 模型在标准指令执行和日常数学任务中，所需 token 数量约减少 40%。
性能方面，PrismML 表示，在 RTX 4090 和 M5 Pro 等硬件上，新模型相较对应全精度模型可实现最高 5 倍吞吐量和 3 倍能效；在 iPhone 18 Pro Max 上，9B 模型最高可达每秒 34 个词元，2B 模型最高可达每秒 120 个词元。IT之家附上相关截图如下：
该系列可与已有的 Bonsai 2 27B 组成从轻量任务到复杂工作流的完整产品线。开发者可通过 llama.cpp 在 NVIDIA GPU 上运行，也可通过 MLX 在 Mac、iPhone 和 iPad 上部署；模型权重以 Apache 2.0 许可证开放。
来源：IT之家·人工智能 · ithome.com