IT之家·人工智能·· 3 天前AI 评分18
网友用停产英特尔傲腾内存无显卡跑通 2.8 万亿参数 Kimi K3,每秒输出 1.5 词元
不用显卡:玩家靠停产傲腾内存跑通 2.8 万亿参数 Kimi K3 AI 模型,每秒输出 1.5 词元
文章要点
- 1Reddit 网友用已停产的英特尔傲腾持久内存,在无显卡环境下跑通 2.8 万亿参数的 Kimi K3 模型
- 2配置为 40 核第三代至强可扩展处理器加傲腾 200 系列,用 App Direct 模式和 llama.cpp 执行推理
- 31 比特量化初始速度约每秒 0.85 词元,关闭 DAX 后借助 DRAM 缓存提升至每秒 1.50 词元
- 43 比特量化仅达每秒 0.75 词元,生成 5 万个词元约需 18.5 小时,输出并不流畅
决策要点
这场实验的实质是把运行超大模型的门槛从显卡算力转移到内存容量,停产硬件也能载入 Kimi K3,只是速度停在每秒个位数词元。
- 影响:对多数企业的直接经营影响有限,实测速度只适合不要求实时响应的场景;若考虑本地部署大模型,大容量廉价内存替代显卡的路线可进入成本比较。
- 参考:可考虑在评估本地大模型部署时,把二手傲腾内存加大容量内存的路线列入比价清单;先用 llama.cpp 实测目标模型量化后的生成速度再定预算。
- 依据:速度数据来自 Reddit 网友个人实验并经 IT之家转述,属单一个案且暂无独立验证,所用傲腾 200 系列内存为已停产产品。
正文
IT之家 11 月 13 日消息,网友 u/IndividualSurvival 于 11 月 2 日在 Reddit 社区发帖,分享了一项家庭实验室尝试,在不配备显卡的情况下,使用已停产的英特尔傲腾持久内存,成功运行 2.8 万亿参数的月之暗面 Kimi K3 模型。

IT之家注:“傲腾”(Intel Optane)是一套基于 3D XPoint 的内存与存储产品技术,是英特尔与美光共同开发的非易失性存储技术。该网友使用傲腾持久内存 200 系列,外形和安装方式接近服务器内存条,单条提供 128GB、256GB 和 512GB 三种容量,针对第三代至强可扩展处理器平台设计。
在配置方面,该网友使用 40 核第三代英特尔至强可扩展处理器(原文并未明确具体规格),以及傲腾持久内存 200 系列(原文并未明确具体容量),并使用 App Direct 模式(DRAM 和傲腾作为两个独立的数据空间呈现给软件)测试,并使用 llama.cpp 软件执行推理。
不过该项目依然只是测试项目,词元(Token)输出速度方面并不流畅。报道显示,采用 1 比特量化、压缩模型数据后,初始生成速度约为每秒 0.85 个词元;关闭直接访问功能 DAX、让常用数据受益于 DRAM 缓存后,速度提升至每秒 1.50 个词元。另一项 3 比特量化测试仅达到每秒 0.75 个词元,生成 5 万个词元约需 18.5 小时。

来源:IT之家·人工智能 · ithome.com