跳到正文
原文
IT之家·人工智能·· 2 小时前AI 评分21

开源项目 Garlic LLM 让越狱版 PS4 运行 9B 参数本地大模型,最快每秒 43 词元

每秒输出最高 43 词元:Garlic LLM 可让越狱 PS4 运行 9B 参数本地 AI 模型

文章要点
  • 1开源项目 Garlic LLM 可让越狱版 PS4 运行 90 亿参数本地大模型,离线完成文字与语音对话
  • 2开发者绕过 PS4 游戏图形驱动,直接向 AMD GCN 架构 GPU 下发底层指令实现 AI 推理
  • 3实测普通文本每秒约 31 至 39 个词元,生成代码最高每秒 43 个词元,上下文约 16,000 词元
  • 4模型采用阿里 Qwen3.5-9B 基座并压缩为 3 或 4 位量化,整体约 4.5 GiB,语音对话开启后速度降至约每秒 22 词元
决策要点

技术信号大于商用价值,量化后的 9B 模型已能在一台游戏主机的 GPU 上离线跑到每秒几十词元。

  • 影响:对多数企业这不是可直接采购的方案,改造依赖越狱主机和自研 GPU 指令;但它显示量化小模型的算力门槛已降到旧消费硬件水平;有离线推理需求的边缘场景多了一个成本参照。
  • 参考:有边缘或离线推理规划的企业,可把这套实测数字当作量化 9B 模型的性能参照;先算出业务所需吞吐,再对比商用推理硬件方案的单位成本。
  • 依据:速度与内存数据来自开发者项目实测,经 Gigazine 与 IT之家转述,暂无独立评测;数字对应越狱 PS4 的特定环境。
正文

IT之家 11 月 17 日消息,科技媒体 Gigazine 今天(11 月 17 日)发布博文,报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token),且无需联网即可完成 AI 聊天与语音对话。

该项目由开发者 Leonardo Alegria 创建,技术实现上是绕过 PS4 原本面向游戏图形处理的驱动程序,直接向其 AMD GCN 架构 GPU 下达底层指令,把游戏主机变成一台可运行 AI 推理的“离线电脑”。

由于 PS4 并未提供非官方程序调用的通用 GPU 计算接口或机器学习库,开发者自行开发 GPU 相关指令,让 PS4 游戏主机运行本地模型。

为了适配 PS4 有限的内存,Garlic LLM 采用阿里巴巴的 Qwen3.5-9B 模型基座,并将模型权重压缩为 3 位或 4 位量化格式,连同加速数据整体控制在约 4.5 GiB,并使用“推测解码”(MTP)技术,在生成文本时预先采样并验证多个词元来提高输出效率。

实际测试显示,普通文本生成速度约为每秒 31 至 39 个词元;生成程序代码时最高可达每秒 43 个词元,模型可处理约 16,000 个词元的上下文窗口。

除文字聊天外,Garlic LLM 还支持语音输入与语音对话,分别使用 Parakeet TDT 0.6B v3 进行语音识别,并采用 Chatterbox 进行语音合成。它还可在 PS4 上执行 AI 生成的 Python 代码,并提供“思考模式”,让模型在回答前先进行推理。不过,启用语音对话会占用更多内存,文本生成速度会降至约每秒 22 个词元。

IT之家附上参考地址

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家包含外链的文章均包含本声明。

来源:IT之家·人工智能 · ithome.com