微信开源 WeVisOne-VL:1亿张图、36亿目标框训练,图里没有就报没有
1亿张图,36亿条目标框喂出来的WeVisOne-VL,微信把它开源了
- 1微信视觉团队开源 WeVisOne-VL,找物体、数数量、读文字、分割和抠图由同一个模型完成,已放出 2B 和 4B 权重
- 2在公开评测 Ref-ZOM 中,4B 版回答没有的比例达 86.0%,两个同类开源模型仅 0.3% 和 1.3%
- 3团队自建的 WeRef-Bench 上回答没有达 96.4%、对比模型最高 73.0%,有目标题定位得分 78.7 对 51.7
- 4训练数据由多模型交叉校验的自动标注流程产出,累计超 1 亿张图像、约 36 亿个目标框,抠图模块约 960 万参数
把敢说没有当成一项独立能力来训练和评测,减少视觉识别硬凑框带来的误报,并把多种视觉任务合并进一个模型。
- 影响:依赖找目标、读文字、分割抠图的业务,找不到目标时不硬框可减少下游误判和人工复核成本;单模型替代画框加 SAM 的组合可简化部署链路;当前版本只支持图片输入。
- 参考:可考虑先在网页 Demo 用自己的图片各试一类题,包括确认图里没有的目标和发丝等细节多的抠图;值得按官方复现说明在自有数据上复测,再评估是否替换现有画框加分段的链路。
- 依据:86.0%、96.4%、78.7 等成绩均出自团队技术报告,属官方口径暂无独立验证;其中 Ref-ZOM 为公开评测集,团队附有评测复现说明。
视觉模型找不到目标时,常常硬凑一个框。微信视觉团队开源的 WeVisOne-VL 反其道而行:图里没有就大声说 None,在 Ref-ZOM 上回答“没有”的比例达 86.0%。更关键的是,它用一个模型同时完成找物体、数数量、读文字、分割和抠图,换任务不用换模型。

让视觉模型在图里找一样东西,它通常会给出一个框。可如果这样东西根本不在图里呢?
在一项专门考“图里没有”的公开评测中,两个同类开源模型分别只有 0.3% 和 1.3% 的情况回答了“没有”,其余几乎都硬给出了一块区域。找不到,也要凑一个答案。
近日,微信视觉团队正式开源WeVisOne-VL —— 一个用同一套模型完成找物体、数数量、读文字、分割和抠图的视觉模型。在上述公开评测集 Ref-ZOM 中,它(4B 版本)回答“没有”的比例达到 86.0%;在团队自建的评测集 WeRef-Bench 中达到96.4%,对比模型中最高为 73.0%。
当没有符合目标的答案时,它会直接返回 None。
项目与代码:Tencent / WeVisOne-VL
技术报告:https://arxiv.org/abs/2610.31329
在线体验:
https://huggingface.co/spaces/hugging-apps/wevisone-vl-2b
https://huggingface.co/spaces/hugging-apps/wevisone-vl-4b
模型权重:
https://huggingface.co/tencent/WeVisOne-VL-2B
https://huggingface.co/tencent/WeVisOne-VL-4B
公开评测复现说明:
https://github.com/Tencent/WeVisOne-VL/blob/main/evaluation/README.md
解决|先教它分清有没有,再让一个模型干多种活
○专门练习“图里没有”的题
要让模型敢说“没有”,就得让它在训练里见到这类题:出这类题并不简单,因为模型没找到,不代表图里真的没有,也可能只是漏看了。
所以团队会对照整张图逐条复核:确认没有任何对象同时满足描述里的属性、动作和关系,才把它当作“没有”的题;一旦发现目标,就改回正常标注。
训练时还会重点练两类错题:一类是图里没有、模型却硬框了;另一类是图里有、模型却漏了或选错了。 两类一起练,模型才不会为了少犯错,动不动就说“没有”。
但只会拒绝也不行。在 WeRef-Bench 中图里确有目标的题目上,4B 的定位得分为 78.7,同表最高对比模型为 51.7。面对确认没有目标的题,只有什么都不框,模型才能拿到奖励。 它没有因为学会说“没有”,就变得不敢找。
○用 1 亿张标注图,教它找得准、描得细
图里真有目标时,还得找得准、描得细。为此,团队搭建了一套自动标注流程,由多个模型定位、交叉校验,再补上轮廓和透明度,累计标注超过 1 亿张图像、约 36 亿个目标框。
○画框、读字、抠图,交给同一个模型
找东西要画框,读字要给出文字和位置,抠图要精确到每个像素,过去这些往往分给不同模型来做。WeVisOne-VL 把它们写成同一种输出格式,一个模型全部学会,换任务不用换模型。
例如:一张海边照片,让模型把照片里的人找出来。同一张图,三种结果的差别是这样的:

图:基于 WeVisOne-VL 示例原图与抠图结果制作,框和分割为对比示意。
- 框:画一个矩形,告诉你人大概在哪。但框里还带着海水和栏杆,没法直接拿去用。
- 分割:沿着人的轮廓描边,每个像素只分“是人”或“不是人”。被风吹乱的发丝很细,夹在海水之间,一刀切下去边缘发硬、带毛刺。
- 抠图:再算出边缘每个像素“有几分是人”。发丝处可能只有三成是人、七成是海水,放到新背景上,飘起的头发也能自然保留。
后两种都要精确到像素。以前的常见做法是先用一个模型画框,再把框交给 SAM(Meta 开源的通用分割模型),由它沿着轮廓把目标分出来;而在WeVisOne-VL 则用模型里一个约 960 万参数的小模块直接完成,不需要再额外接一个 SAM。
○合进一个模型后,单项成绩并没有变弱

开源|可在线试用,也可本地部署
项目已开源2B、4B 两个版本的权重,以及技术报告、教程、评测代码和标注工具 Mask2Alpha,采用 Apache 2.0 许可。可以先在网页 Demo 试用,也可以在本地运行。
文中数据来自团队技术报告。当前版本只支持图片输入。
从判断“有没有”,到给出框、文字和抠图,WeVisOne-VL 把这些放进了同一个模型。图里有,就尽量找准;图里没有,就大声说 None。
项目与代码:Tencent / WeVisOne-VL
技术报告:https://arxiv.org/abs/2610.31329
在线体验:
https://huggingface.co/spaces/hugging-apps/wevisone-vl-2b
https://huggingface.co/spaces/hugging-apps/wevisone-vl-4b
模型权重:
https://huggingface.co/tencent/WeVisOne-VL-2B
https://huggingface.co/tencent/WeVisOne-VL-4B
公开评测复现说明:
https://github.com/Tencent/WeVisOne-VL/blob/main/evaluation/README.md
本文由 @微信AI 原创发布于人人都是产品经理。未经作者许可,禁止转载
题图来自Unsplash,基于CC0协议
来源:人人都是产品经理 · woshipm.com