IT之家·人工智能·· 57 分钟前AI 评分44
欧洲云服务企业 OVH 涉足 AI 模型,开源发布 Olala mini 7A1B
文章要点
- 1OVHcloud 推出首个 AI 模型家族 Olala,首发成员 Olala mini 7A1B 以 Apache 2.0 许可开源至 Hugging Face
- 2模型总参数 70 亿、激活参数 10 亿,采用结合 Differential-TPA 和 Mamba-3 的混合注意力机制,BF16 格式
- 3官方称模型可在 8GB 显存 GPU 上运行,RTX A4500 词元吞吐量 160 TPS,纯 CPU 平台 50 TPS
- 4训练耗资 700 万欧元;初始上下文 32K,预计年底的 1.1 版本扩至 128K,后续 Olala 2.0 参数将超 100B
决策要点
欧洲云厂商切入自研开源小模型,主打低显存与纯 CPU 可运行的轻量路线,企业本地部署小模型的可选项进一步增多。
- 影响:轻量开源模型在 8GB 显存 GPU 乃至纯 CPU 即可运行,内网数据的轻量文本任务有了低成本本地部署选项;Apache 2.0 许可商用限制少;但作为 OVH 初次自研的模型系列,能力表现尚无独立评测背书。
- 参考:可考虑从 Hugging Face 取用后,用自有业务的小样本任务与现有方案对比实测;涉及内网数据的轻量文本场景值得列入本地部署候选;预计年底的 128K 上下文 1.1 版本可作为再评估节点。
- 依据:参数规模、吞吐量和 700 万欧元训练开销均为 OVH 官方口径,暂无独立评测;许可与硬件要求以 Hugging Face 发布信息为准。
正文
IT之家 11 月 17 日消息,欧洲云服务企业 OVHcloud 当地时间今日宣布推出其首个 AI 模型家族 Olala,同时公布了该系列的首个成员 Olala mini 7A1B。

Olala mini 7A1B 采用结合了 Differential-TPA 和 Mamba-3 的混合注意力机制,总参数 70 亿、激活参数 10 亿,使用 BF16 数据格式。该模型将以 Apache 2.0 许可开源发布在 Hugging Face 上。
其可在 8GB 显存的 GPU 上运行,在 RTX A4500 上可实现 160 TPS 的词元吞吐量,仅 CPU 平台也能实现 50 TPS。
OVH 表示,Olala mini 7A1B 在三台欧洲公共超级计算机上利用 NVIDIA 的 GH200、A100、H100 训练而成,总开销达到 700 万欧元(IT之家注:现汇率约合 5,142.8 万元人民币)。
Olala mini 7A1B 模型初始版本上下文长度为 32K,预计今年底推出的 1.1 版本将扩展至 128K 上下文并具备更好的数学能力。OVH 后续将持续开发 AI 模型,Olala 2.0 的参数规模将>100B。
来源:IT之家·人工智能 · ithome.com