跳到正文

#Agent

今日 66 条
6月6日周四
  1. 通义千问 Qwen:Blog43

    通义千问用 Qwen-Agent 将 8k 上下文模型扩展到 1M 上下文

    Qwen 团队用 8k 上下文的 Qwen2 模型搭建出能处理 1M token 文档的智能体,官方称其表现超过 RAG 和原生长上下文模型。

    决策要点

    与其硬训超长上下文窗口,先用小上下文模型加智能体工程覆盖 1M 文档,再把智能体变成合成训练数据的工具,这是长上下文能力建设的一条工程路线。

    • 影响处理长文档问答可能不必依赖超长上下文模型的高推理成本,小模型加智能体编排是低成本选项;现有结果均为官方自测口径,换文档类型或模型效果会变;逐块阅读策略 token 消耗和延迟更高,落地前要算清这笔账。
    • 参考可考虑用业务里真实的 1M 级长文档,在开源的 Qwen-Agent 实现上对比 RAG 与逐块阅读两种策略的命中率和成本;值得先盘点哪些场景真正需要超过 32k 的上下文,再决定试点顺序。
4月2日周二
  1. 通义千问 Qwen:Blog51

    通义千问发布 Qwen1.5-32B,为 Qwen1.5 系列补上 30B 级中间档

    通义千问发布 Qwen1.5-32B 基座模型与 Qwen1.5-32B-Chat 对话模型,定位为在性能、效率和显存占用之间取得平衡的约 30B 参数档,架构上加入了 GQA(分组查询注意力)以提升推理效率。

    决策要点

    Qwen1.5-32B 补上 14B 与 72B 之间的中间档,官方用它同时回应 14B 能力不足和 72B 推理成本高两个痛点。

    • 影响自部署场景多了一个显存与推理成本明显低于 72B 的中间选项;智能体等 14B 能力不足的应用可以用它补位;与 72B 的性能差距要按具体任务权衡。
    • 参考可考虑在现有 72B 或 14B 服务上做一次替换对照,先算出显存、吞吐与单位推理成本的变化;值得用自家真实任务复测后再决定哪些场景迁移到 32B。
2月4日周日
  1. 通义千问 Qwen:Blog66

    通义千问发布开源模型 Qwen1.5,全系支持 32K 上下文

    阿里通义千问团队发布并开源 Qwen1.5 系列模型,提供 0.5B、1.8B、4B、7B、14B、32B、72B、110B 等 base 和 chat 版本,另含一个 MoE 模型,全系统一支持最长 32768 tokens 上下文。

    决策要点

    Qwen1.5 把模型能力升级和接入成本下降打包在一起,官方将适配工作直接做进主流框架,换取开发者的迁移便利。

    • 影响全尺寸开源加 Int4、Int8、AWQ、GGUF 量化版本,私有化部署和多尺寸选型的空间变大;小模型在 RAG 与长文本任务上的官方成绩可观,本地部署成本有下探空间;官方数据仍明显落后 GPT-4-Turbo,高端场景需要留出替代预案。
    • 参考可考虑先拿业务测试题对比 Qwen1.5-72B-chat 与现有模型的表现;值得测算 7B 到 14B 量化版本在私有环境跑 RAG 的成本;接入前先核对 transformers 和 vLLM 等框架的版本要求。
1月23日周二
  1. 通义千问 Qwen:Blog55

    通义千问发布 Qwen 系列模型官方介绍,开源覆盖 1.8B 至 72B 四档

    通义千问团队发布官方博客介绍 Qwen 系列模型,已开源 Qwen-1.8B、Qwen-7B、Qwen-14B、Qwen-72B 四档基础模型,系列还包括 Code-Qwen、Math-Qwen 专项模型与 Qwen-VL、Qwen-Audio 多模态模型。

    决策要点

    通义千问把开源模型铺成 1.8B 到 72B 的完整梯队,企业自部署有了按算力预算选型的空间,不再只有闭源 API 一条路。

    • 影响微调显存门槛从 Qwen-1.8B 的 5.8GB 到 Qwen-72B 的 61.4GB,中小团队可先从小参数版本试起;官方性能口径未经独立验证,选型前要按自身场景实测;工具调用与 AgentFabric 为客服、文档处理类流程提供了自部署试点方向。
    • 参考可考虑按官方显存表匹配自身算力,从 1.8B 或 7B 选一个业务场景起步试点;值得用自有数据复测长上下文与 function calling 表现,再决定是否扩大到更大参数版本。
7月18日周二
  1. SaaStr67

    SaaStr 的 Jason Lemkin 重估智能体时代优秀销售素质,九条旧标准重新分级并新增一条

    SaaStr 的 Jason Lemkin 结合自家 1.5 人销售团队与 20 多个 AI 智能体的运营经验,重新评估优秀销售的九项素质并新增一条,团队营收仍达八位数。

    决策要点

    销售漏斗上半段正被智能体成规模接管,人类销售的价值收窄到实时倾听、制造紧迫感、帮客户落地这几件事,团队配置逻辑随之改变。

    • 影响以约访为核心的岗位在收缩而帮客户落地的岗位在扩张,销售编制需要重算;小客户由智能体全天候响应,人工再冷落小客户会输给同行;买方也开始用自家智能体筛选供应商,对外材料要能独立自证。
    • 参考可考虑先盘点自家销售流程中哪些环节已被智能体覆盖,再重算 SDR 与 AE、售前的人员配比;值得把定价页、案例数据和文档按买方智能体会独立阅读的标准过一遍;销售培训可加入承接智能体交接的流程要求。