跳到正文

#Anthropic

今日 27 条
3月20日周四
  1. Anthropic:Engineering59

    The "think" tool: Enabling Claude to stop and think in complex tool use situations

    Anthropic 介绍 think 工具,在 Claude 执行工具调用的过程中插入一个停下来结构化思考的步骤,与回答前生效的 extended thinking 是不同机制。

    决策要点

    给模型留思考位的实现成本很低,对多步智能体任务一致性有帮助,但增益大小取决于是否配了领域示例提示词。

    • 影响策略约束多、步骤环环相扣的智能体流程可低成本提升一致性;代价是提示词变长、输出 token 增多,成本要单独核算;官方提示 extended thinking 改进后多数场景可直接改用它。
    • 参考可考虑在政策复杂、出错代价高的客服或流程自动化场景试点,把领域示例和检查清单写进系统提示词;先估算新增 token 对成本的影响;单次或并行工具调用的简单任务不必加。
1月6日周一
  1. Anthropic:Engineering46

    Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet

    升级版 Claude 3.5 Sonnet 在 SWE-bench Verified 上取得 49%,超过此前最优模型的 45%,Anthropic 工程博客同步公开了跑分用的 agent 脚手架。

    决策要点

    SWE-bench Verified 比的是模型加脚手架的整套系统,Anthropic 的经验显示工具描述与防错设计和模型能力同样影响分数。

    • 影响编码智能体解决真实仓库问题的能力在抬升,软件维护类工作的人力预算可据此重估;agent 表现高度依赖脚手架设计,工具接口打磨的投入直接影响产出;成功案例常需数百轮和超 100k token,试点前需把成本纳入测算。
    • 参考可考虑参照其工具防错做法,如强制绝对路径与唯一匹配的字符串替换编辑,改造内部编码 agent;值得先算出单任务平均 token 消耗,再划定试点场景。
12月19日周四
  1. Anthropic:Engineering56

    Building effective agents

    Anthropic 发布工程文章《Building effective agents》,基于与数十个团队合作的经验,主张用简单、可组合的模式而非复杂框架构建智能体系统。

    决策要点

    这是一份智能体构建方法指南,实质是把选型关键从框架转向模式选择、成本权衡与工具接口设计。

    • 影响智能体系统以延迟和成本换取任务表现,是否划算需按场景评估;多数应用优化单次调用加检索与上下文示例即可;自主智能体成本更高且错误会累积,上线前要在沙盒充分测试并配护栏。
    • 参考可考虑用文中五种工作流模式对照现有任务清单,能拆成固定子任务的优先用工作流而非自主智能体;值得把工具定义、参数命名和防错设计当提示词工程投入,先在沙盒环境测试再扩大范围。
10月15日周二
  1. Anthropic:Newsroom49

    Announcing our updated Responsible Scaling Policy

    Anthropic 发布负责任扩展政策(RSP)的重要更新,把安全防护从原则承诺改为按模型能力阈值触发升级的机制。新框架设定自主 AI 研发与 CBRN 武器协助两大能力阈值,触发后分别要求 ASL-4 或更高、ASL-3 标准防护,目前其所有模型运行在 ASL-2。

    决策要点

    Anthropic 把安全承诺细化为按模型能力触发防护升级的分级治理机制,并主动披露执行中的未达标情况,为 AI 风险治理提供了可参照的操作样本。

    • 影响头部厂商的风险治理正从原则声明走向可核查的分级机制,企业在模型选型与合作谈判中可要求对方说明防护等级与评估结论;前沿模型能力逼近阈值时可能带来更严部署限制与安全成本。
    • 参考可考虑在模型采购评估中增加对厂商安全治理框架的问询项,如防护等级、能力评估频率与红队流程;也值得参照能力阈值思路,为内部 AI 应用的风险分级列出清单。
9月19日周四
  1. Anthropic:Engineering58

    Introducing Contextual Retrieval

    Anthropic 发布 Contextual Retrieval 方法,在向量化和 BM25 索引前为每个文本块补上文档上下文,官方实验显示 top-20 检索失败率降低 49%,叠加重排后降低 67%。

    决策要点

    检索准确率的瓶颈被定位在切块丢失上下文,补上下文成了可以用模型自动完成的低成本预处理步骤。

    • 影响依赖知识库的客服、法务类 RAG 应用检索命中可直接受益;预处理属一次性成本,有每百万文档 token $1.02 的官方参照;加重排会额外增加延迟与费用,需按场景权衡。
    • 参考可考虑按官方 cookbook 在自家语料上小规模复测失败率变化;先算出知识库 token 规模,低于 20 万可直接全量入 prompt;值得对比 Voyage 与 Gemini 嵌入及 top-5/10/20 块数的组合。