通义千问发布 Qwen-VL-Plus 与 Qwen-VL-Max，官方称多项图文任务比肩 GPT-4V
Introducing Qwen-VL
- 1通义千问发布 Qwen-VL-Plus 与 Qwen-VL-Max 两个增强版视觉语言模型
- 2官方称两者在多项图文任务上与 Gemini Ultra、GPT-4V 表现相当，超过此前开源模型最好成绩
- 3官方基准表显示 Qwen-VL-Max 在 DocVQA 达 93.1%、MM-Bench-CN 达 75.1%，均超过 GPT-4V 同项成绩
- 4新版支持百万像素以上分辨率与任意长宽比图像输入，强化中英文文字识别与图表推理，已开放网页和 API 使用
通义千问把视觉语言模型推到与 GPT-4V、Gemini 正面比拼的位置，中文图文理解是其官方主打的差异化卖点。
- 影响：文档抽取、表格识别、图表解读等含图业务的自动化处理多了国产模型选项；官方对比数字未经独立验证，选型前需按自有数据实测；模型已开放网页与 API 入口，小规模验证的接入成本不高。
- 参考：可考虑选一类真实文档或票据场景，将 Qwen-VL-Max 与现有方案做同题对比后再定预算；值得先盘点业务中依赖图片文字识别的环节清单。
- 依据：对比成绩均出自通义千问官方博客及其基准表，属官方口径，暂无独立验证；开源版 Qwen-VL 与 Plus、Max 为不同版本，能力不能直接等同。
译文尚不完整，完整内容请切换到原文。
随着我们的大语言模型 Qwen 的快速发展，我们利用 Qwen 的能力和统一的多模态预训练来解决多模态模型在泛化方面的局限性，并于 2023 年 9 月开源了多模态模型 Qwen-VL。最近，Qwen-VL 系列迎来了重大升级，推出了两个增强版本：Qwen-VL-Plus 和 Qwen-VL-Max。这些版本的关键技术进步包括：
- 大幅提升了图像相关的推理能力；
- 显著增强了识别、提取和分析图像内部细节及其中所含文本的能力；
- 支持分辨率超过一百万像素的高清图像以及各种宽高比的图像。
| 模型名称 | 模型描述 |
| qwen-vl-plus | Qwen 的增强版大视觉语言模型。大幅提升了细节识别能力和文本识别能力，支持高达数百万像素的超高分辨率输入以及任意宽高比的图像输入。它在广泛的视觉任务中都有显著表现。 |
| qwen-vl-max | Qwen 的能力最强的大视觉语言模型。相比增强版，进一步提升了视觉推理和指令遵循能力，提供更高水平的视觉感知和认知理解。它在更广泛的一系列复杂任务上均有最佳表现。 |
与 Qwen-VL 开源版本相比，这两个模型在多个图文多模态任务上的表现与 Gemini Ultra 和 GPT-4V 相当，显著超越了此前开源模型的最佳结果。
值得注意的是，在中文问答和中文文本理解任务上，Qwen-VL-Max 的表现超越了 OpenAI 的 GPT-4V 和 Google 的 Gemini。这一突破彰显了该模型的先进能力，以及它在多模态 AI 研究与应用领域树立新标准的潜力。
| 模型 | DocVQA 文档理解 | ChartQA 图表理解 | AI2D 科学图表 | TextVQA 文本阅读 | MMMU 大学水平题目 | MathVista 数学推理 | MM-Bench-CN 中文自然图像问答 |
|---|---|---|---|---|---|---|---|
| 其他最佳 开源 LVLM | 81.6% (CogAgent) | 68.4% (CogAgent) | 73.7% (Fuyu-Medium) | 76.1% (CogAgent) | 45.9% (Yi-VL-34B) | 36.7% (SPHINX-V2) | 72.4% (InternLM-XComposer-VL) |
| Gemini Pro | 88.1% | 74.1% | 73.9% | 74.6% | 47.9% | 45.2% | 74.3% |
| Gemini Ultra | 90.9% | 80.8% 1 | 79.5% 1 | 82.3% 1 | 59.4% 1 | 53.0% 1 | - |
| GPT-4V | 88.4% | 78.5% | 78.2% | 78.0% | 56.8% | 49.9% | 73.9% |
| Qwen-VL-Plus | 91.4% | 78.1% | 75.9% | 78.9% | 45.2% | 43.3% | 68.0% |
| Qwen-VL-Max | 93.1% 1 | 79.8% 2 | 79.3% 2 | 79.5% 2 | 51.4% 3 | 50.0% 2 | 75.1% 1 |
新版本的 Qwen-VL-Plus 和 Qwen-VL-Max 模型不仅展现出卓越的基准测试性能，还在真实场景中的问题解决能力上有显著提升。这些先进模型可以轻松进行对话、识别名人和地标、生成文本，尤其是，它们在描述和解读视觉内容方面的能力得到了显著增强。
这里我们展示一些实际示例：
1. 基础识别能力
最新的 Qwen-VL 模型现在更擅长准确描述和识别图像中的复杂信息，并能提供详细的背景说明和回答相关问题。例如，Qwen-VL 不仅能识别常见物体，还能识别名人和地标。Qwen-VL 可以根据视觉内容用多种语言创作诗歌，并能分析日常截图。
示例：名人识别 下一个
用户
他们是谁？
Qwen-VL
这些是世界上最有名、收入最高的名人。从左到右，从上到下：
- Justin Bieber（加拿大歌手）
- Lionel Messi（阿根廷足球运动员）
- Cristiano Ronaldo（葡萄牙足球运动员）
- Elon Musk（南非出生的美国企业家和商人）
- Kylie Jenner（美国媒体名人和社交名媛）
- Taylor Swift（美国创作型歌手）
- Robert Downey Jr.（美国演员）
- Scarlett Johansson（美国女演员）
值得注意的是，这仅仅是众多才华横溢、功成名就的名人中的一部分示例，而且名利并不是衡量成功或重要性的唯一标准。
用户
他们的中文名是什么？
Qwen-VL
以下是上述名人的中文名：
- Justin Bieber: 贾斯汀·比伯
- Lionel Messi: 莱昂内尔·梅西
- Cristiano Ronaldo: 克里斯蒂亚诺·罗纳尔多
- Elon Musk: 埃隆·马斯克
- Kylie Jenner: 凯莉·詹娜
- Taylor Swift: 泰勒·斯威夫特
- Robert Downey Jr.: 小罗伯特·唐尼
- Scarlett Johansson: 斯嘉丽·约翰逊
请注意，这些只是他们名字的一种可能的中文翻译，在不同的语境或地区可能会有其他变体。
2. 视觉智能体（Visual Agent）能力：定位的关键作用
除了描述和识别的基本能力外，Qwen-VL 还具备令人印象深刻的能力，可以精确定位和查询特定元素。例如，它可以准确标出图像中的黑色汽车。此外，Qwen-VL 还能够根据场景的整体上下文做出判断、推理和决策。
示例：定位你想要的任何目标 下一个
用户
定位红色汽车
Qwen-VL
红色汽车位于图像的右下角。
3. 视觉推理能力：解决实际问题
最新 Qwen-VL 最显著的进步之一是其基于视觉输入进行复杂推理的能力。这一增强的视觉推理能力远不止于简单的内容描述，还扩展到对流程图、图表和其他符号系统等复杂表示形式的理解与解读。在解决问题和推理方面，Qwen-VL-Plus/Max 不仅擅长数学问题求解和信息组织，还能对各类图表和图形进行更深入的解读和分析。
示例：数学 下一个
用户
阅读图片并逐步求解
Qwen-VL
图中显示了两个几何体：一个长方体和一个正方体，并标注了它们的尺寸。题目要求计算这些几何体的表面积和体积。
- 对于长方体：
- 长（l）= 4 cm
- 宽（w）= 2 cm
- 高（h）= 3 cm
长方体的表面积（SA）= 2lw + 2lh + 2wh 长方体的体积（V）= lwh
代入给定数值： SA = 2(4cm)(2cm) + 2(4cm)(3cm) + 2(2cm)(3cm) SA = 16cm² + 24cm² + 12cm² SA = 52cm²
V = (4cm)(2cm)(3cm) V = 24cm³
- 对于正方体：
- 边长（a）= 3 dm
正方体的表面积（SA）= 6a² 正方体的体积（V）= a³
Substituting the given value: SA = 6(3dm)² SA = 6(9dm²) SA = 54dm²
V = (3dm)³ V = 27dm³
So, the surface area and volume for each figure are as follows:
For the rectangular prism:
- Surface Area = 52 cm²
- Volume = 24 cm³
For the cube:
- Surface Area = 54 dm²
- Volume = 27 dm³
4. Text Information Recognition & Processing
Text processing in images has also improved significantly, especially in terms of recognizing Chinese and English text. Qwen-VL-Plus/Max can now efficiently extract information from tables and documents and reformat this information to meet custom output requirements. In addition, it has an efficient mechanism for identifying and converting dense text, which is very effective in dealing with documents that contain a lot of information. It supports images with extreme aspect ratios, ensuring the flexibility to process diverse visual content.
Example: Information Retrieval Next
User
Please read the text in this image and return the information in the following JSON format (note xxx is placeholder, if the information is not available in the image, put “N/A” instead).
{“class”: xxx, “DLN”: xxx, “DOB”: xxx, “Name”: xxx, “Address”: xxx, “EXP”: xxx, “ISS”: xxX, “SEX”: xxx, “HGT”: xxx, “WGT”: xxx, “EYES”: xxx, “HAIR”: xxX, “DONOR”: xxx}
Qwen-VL
{“class”: “C”, “DLN”: “I1234568”, “DOB”: “08/31/1977”, “Name”: “IMA CARDHOLDER”, “Address”: “2570 24TH STREET ANYTOWN, CA 95818”, “EXP”: “08/31/2014”, “ISS”: “08/31/2009”, “SEX”: “F”, “HGT”: “5’-05"”, “WGT”: “125 lb”, “EYES”: “BRN”, “HAIR”: “BRN”, “DONOR”: “YES”}
How to Use
Now you can access Qwen-VL-Plus and Qwen-VL-Max through the Huggingface Spaces, the Qwen website, and Dashscope APIs.
- Try Qwen-VL-Plus (https://huggingface.co/spaces/Qwen/Qwen-VL-Plus) and Qwen-VL-Max (https://huggingface.co/spaces/Qwen/Qwen-VL-Max) in the Huggingface Spaces
Log in to the QianWen web portal at https://tongyi.aliyun.com/qianwen, and switch to “Image Understanding” mode to harness the latest Qwen-VL-Max capabilities.
Access the powerful APIs of Qwen-VL-Plus and Qwen-VL-Max through the Dashscope platform (https://help.aliyun.com/zh/dashscope/developer-reference/vl-plus-quick-start).
Summary
Qwen-VL-Plus and Qwen-VL-Max make significant strides in enhancing high-resolution recognition, text analysis, and image reasoning capabilities. These models now match the performance of GPT4-v and Gemini, outperforming all other open-source and proprietary models in many tasks, such as MMMU, CMMMU, and MathVista. They achieve world-class results in document analysis (DocVQA) and Chinese language-related image understanding (MM-Bench-CN).
Our objective is to continually tap into and elevate the potential of Qwen-VL, enabling it to make a difference across a broader range of applications. We can envision Qwen-VL as an assistant equipped with superhuman visual and linguistic comprehension skills that can provide robust support in everyday dialogues as well as complex scenarios like driving environments and programming contexts.
While there is still a long way to go, we are confident that Qwen-VL will evolve to perceive and understand the world akin to human cognition through continuous optimization and expansion!
- Our Official Website: https://tongyi.aliyun.com/qianwen
- Github: https://github.com/QwenLM/Qwen-VL
- Huggingface: http://huggingface.co/Qwen/Qwen-VL-Chat
- ModelScope: https://modelscope.cn/studios/qwen/Qwen-VL-Chat-Demo
- API: https://help.aliyun.com/zh/dashscope/developer-reference/tongyi-qianwen-vl-plus-api
- Discord: https://discord.gg/CV4E9rpNSD
来源：通义千问 Qwen：Blog · qwenlm.github.io