跳到正文
原文
IT之家·人工智能·· 7 天前AI 评分56

美团龙猫开源 LongCat-2.5 模型:总参数 1.6 万亿,支持百万上下文

文章要点
  • 1美团 11 月 2 日发布面向长程智能体任务的 LongCat-2.5,11 月 9 日宣布正式开源
  • 2模型采用 MIT 协议,支持商用推理部署与二次训练,无需额外授权
  • 3总参数 1.6 万亿,每个 token 激活约 480 亿参数,支持一百万上下文
  • 4官方称复杂代码库开发、Visual Coding 等场景交付能力明显提升,并针对国产算力芯片协同优化
决策要点

美团把万亿参数级多模态模型以 MIT 协议开源,企业免授权商用部署的可选清单延伸到长程智能体场景。

  • 影响:需要长上下文或视觉编码能力的企业多了一个可自托管、可商用的开源选项;针对国产算力芯片的适配优化或可降低私有化部署的门槛;能力数字目前只有官方口径,缺独立评测参照。
  • 参考:可考虑在长文档分析、复杂代码库开发等场景做小规模自托管对比测试;值得先盘点现有国产算力资源与 W4A4 推理方案的适配成本,再决定是否纳入候选。
  • 依据:参数量、上下文长度与 MIT 协议来自官方发布信息,能力提升与芯片优化为官方口径,暂无独立评测验证。
正文

IT之家 11 月 9 日消息,11 月 2 日,美团龙猫发布面向长程智能体任务的原生多模态模型 LongCat-2.5。随后来到今天(9 日),美团宣布该模型正式开源。

该模型采用 MIT 协议,支持商用推理部署与二次训练,无需额外授权,是面向长程智能体任务的原生多模态模型。在复杂代码库开发、完整项目构建、Visual Coding 与专业办公场景中,端到端交付能力均有明显提升。

模型总参数 1.6 万亿,每个 token 激活约 480 亿参数,支持一百万上下文。针对显存与带宽受限的国产算力芯片,团队在模型架构、芯片适配与部署策略上也进行了深度协同优化。

图片

根据介绍,LongCat-2.5 在 Visual Coding 上表现出色,支持创意设计、3D 等任务。这些能力提升来自视觉表征层的改造:模型将视觉信号表示为多层级离散 token,与文本一样由主干模型统一处理,而非外挂视觉模块。具体而言,模型对原生分辨率视觉特征做残差向量量化,逐级补足细节;视觉 token 可离线预计算并缓存,减少在线计算量,也让分布式训练负载更均衡;视觉码本与主干联合训练,视觉与文本共享同一套主干参数,在同一语义空间内协同完成视觉理解与代码生成。

此外,LongCat-2.5 采用 W4A4 高效推理方案,将专家权重与激活同时量化到 4 bit,并通过原生 INT4 矩阵乘法单元执行计算。

IT之家附上有关链接如下:

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家包含外链的文章均包含本声明。

来源:IT之家·人工智能 · ithome.com