跳到正文
原文
OpenRouter：Blog（Announcements）·· 19 天前精选AI 评分60

OpenRouter 推出 Private Endpoints，自有微调模型与预留算力可接入统一 API

Private Endpoints: Bring Your Fine-Tuned Models and Capacity to OpenRouter

文章要点
  • 1OpenRouter 推出 Private Endpoints，微调模型、独占部署和预留算力可接入现有统一 API。
  • 2私有端点仅对本组织可见，不会出现在公开模型列表、排行、搜索、图表或基准测试中。
  • 3功能为 Enterprise 计划附加项，部署须经 BYOK 密钥和一次真实请求测试，默认每组织上限 10 个。
  • 4注册时需声明定价与是否保留提示词，标记私有不等于零数据保留，可用 API 或 Terraform 管理。
决策要点

OpenRouter 把企业自有部署纳入统一路由层，私有算力与公共模型从两套集成收拢为一个 API。

  • 影响：已有微调或独占部署的团队可省掉第二套集成，统一走一个 API 并保留现有模型别名；溢出流量能按偏好回退公共服务商；功能限 Enterprise 计划附加项，数据保留政策仍由原服务商决定，接入前需重估数据边界。
  • 参考：可考虑盘点组织内的微调模型与预留算力清单，评估是否并入统一网关；值得先确认是否在 Enterprise 计划内，并核对部署服务商是否在 BYOK 支持名单。
  • 依据：以上为 OpenRouter 官方公告口径，暂无独立验证；测试请求、BYOK 依赖和每组织 10 个端点上限均出自官方描述。
正文 · AI 翻译

今天我们推出 Private Endpoints。OpenRouter 已经把你团队使用的公开模型整合到同一个 API 之后。现在它也能服务只有你团队才有的部署。如果你运行一个微调模型、某个公开模型的专属部署，或从提供商那里预留的容量，你可以让它通过 OpenRouter 与目录中的其他内容一起路由。你的团队保留他们目前使用的 API、模型 slug 和路由偏好。私有端点仅在你的组织内可见。

Private Endpoints 是 Enterprise 计划的附加功能。请让你的客户代表为你的组织启用该功能，或与我们团队联系。

你能用它做什么

微调模型和预留容量过去意味着在 OpenRouter 之外还要做第二次集成。现在你只需将该部署注册为私有端点，并通过你已经在用的 API 调用它，公开提供商可作为可选备份，以防端点宕机或触及速率限制。只有你批准的组织才能看到它，它也绝不会出现在公开的模型列表、排名、搜索、图表或基准测试中。

例如，如果你的组织有一个 DeepSeek V4 Pro 的 Azure 专属部署，你可以将其注册为 deepseek/deepseek-v4-pro 的私有端点，你的应用继续调用该 slug。对你的组织而言，它默认会排在提供商列表的最前面，Model Fallbacks、Provider Selection 以及其余路由功能的工作方式与任何提供商相同。OpenRouter 通过 BYOK 使用你的 Azure 密钥访问它，因此 Azure 直接向你计费。

预留容量也可以这样处理。将一个私有端点指向它，你的组织流量默认会优先走那里。当它被限速或不可用时，OpenRouter 可以在你设置的提供商偏好和 BYOK 回退设置范围内，将溢出流量发送到公开提供商。

设置端点

启用 Private Endpoints 后，组织管理员可以在你账户的 Private Endpoints 页面注册该部署。部署必须由我们支持 BYOK 的提供商托管，因为 OpenRouter 要使用你自己的密钥来访问它。它还必须提供一个已在 OpenRouter 目录中的模型，因为它会继承该模型的 slug 和能力。你可以附加自己的定价，以便端点在成本报告中准确显示，并且你需要声明该部署是否保留提示词。

The Add private endpoint wizard on its Blueprint step, with Connect, Test, and Activate still to come. The catalog model is set to Anthropic: Claude Haiku 5.5 and the BYOK provider list is open.

在任何流量路由到新端点之前，OpenRouter 会通过保存在你某个工作区中的提供商密钥发送一个真实请求。该请求用于验证密钥被接受、部署支持 OpenAI 兼容格式、流式传输正常工作、用量信息能返回用于计费，以及模型 ID 与你注册的内容一致。一旦通过，你就可以激活该端点，你组织中的工作区即可通过模型 slug 调用它。在此之前，它保持隐藏且无法被调用。

用代码管理端点

如果你运行的端点不止少数几个，或者你把基础设施放在代码中管理，可以跳过设置页面。Private Endpoints API 覆盖整个生命周期，从注册草稿、运行测试检查，到激活、更新定价、暂停和删除。它使用组织级 Management API key 进行身份验证，一次 create 调用即可注册、测试并激活一个端点。

curl https://openrouter.ai/api/v1/private-endpoints \
  -H "Authorization: Bearer $OPENROUTER_MANAGEMENT_KEY" \
  -H "Content-Type: application/json" \
  -H "Idempotency-Key: gpt-4o-prod" \
  -d '{
    "model_permaslug": "openai/gpt-4o-2024-08-06",
    "provider_slug": "openai",
    "base_url": "https://api.openai.com/v1",
    "upstream_model_id": "gpt-4o-2024-08-06",
    "pricing": { "prompt": "0.0000025", "completion": "0.00001" },
    "activate": { "workspace_id": "<workspace-id>" }
  }'

如果测试检查失败，草稿会被保留并连同失败的检查一起返回，这样你就可以修补它并再次尝试。Idempotency-Key 请求头让重试变得安全（重复的密钥会返回第一次请求创建的端点）。OpenRouter Terraform provider 将这一切封装在一个 openrouter_private_endpoint 资源中，因此 terraform apply 会注册、测试并激活端点，而 terraform destroy 则将其移除。

须知

  • 将端点标记为私有并不会使它成为 零数据保留 端点。你的提供商处理提示词的方式与之前完全相同，OpenRouter 会记录你在注册部署时声明的数据策略。
  • 如果 OpenRouter 能从端点地址推断出所在区域，或者你在设置过程中声明了区域，私有端点就可以使用 区域内路由。发往 us.openrouter.ai 或 eu.openrouter.ai 的请求随后将路由到该区域内你的部署。区域内路由指南 列出了支持的提供商。
  • 你的提供商密钥必须保存在每个调用该端点的工作区的 BYOK 下，设置过程中的测试请求也需要它在那里。
  • 每个组织默认最多可拥有 10 个私有端点，仍在设置中的端点也计入该上限。

The Blueprint step's data region and Zero Data Retention choices, with United States (us.openrouter.ai) and zero data retention selected, above the optional prompt price field.

开始使用

私有端点是企业版计划的附加功能。请让你的客户代表为你的组织启用该功能，或者与团队洽谈。

启用后，组织管理员可以在你账户的私有端点页面添加你的第一个端点，也可以使用 Management API 密钥通过 私有端点 API 来添加。

阅读文档了解更多信息。

来源：OpenRouter：Blog（Announcements） · openrouter.ai

#产品工具