亚马逊 AWS 发布 TorchNeuron 工具,PyTorch 应用改一行配置即可跑上 Trainium 芯片
亚马逊 AWS 于周一发布 TorchNeuron 工具,PyTorch 应用只需改一行配置即可在其自研芯片 Trainium 上运行,官方称无需重写代码。AWS 表示约 85% 的 AI 应用基于 PyTorch,该工具直接针对 NVIDIA 靠 CUDA 建立的软件优势;AWS 还称客户 Deepgram 迁移后以生产级精度每美元多处理 70% 的音频(AWS 口径)。
亚马逊此番进攻的实质在软件层,通过降低 PyTorch 应用的迁移门槛来松动 NVIDIA 靠 CUDA 建立的默认绑定,而非单纯拼芯片。
- 影响使用 PyTorch 的 AI 团队换用非 NVIDIA 芯片的改造成本可能下降,算力比价范围可扩大到 Trainium 等选项;迁移后能否少改代码取决于实际工具链成熟度;若上游移除芯片绑定,相关开发与运维流程也需跟着调整。
- 参考可考虑先挑一个非核心的 PyTorch 场景,实测改一行配置迁到 Trainium 的工作量与单位算力成本;值得在下一轮算力采购前,把训练加推理整段工作负载的账算出,再与现有 GPU 方案比较。