模型网关是业务系统和多个模型供应商之间的统一入口。它负责模型路由、鉴权、限流、日志、成本统计、降级和安全策略。

1. 为什么需要模型网关

如果每个业务系统都直接调用模型 API，会出现：

• 供应商接入逻辑重复。
• 密钥散落在业务服务中。
• 成本无法统一统计。
• 限流和降级难以治理。
• 模型切换成本高。
• 日志和审计不完整。

模型网关用于把这些能力集中。

2. 基本架构

业务系统
  -> 模型网关
     -> 鉴权
     -> 限流
     -> 路由
     -> Prompt 策略
     -> 安全检查
     -> 供应商适配
     -> 日志统计
  -> 模型供应商 / 私有模型

3. 核心能力

能力	说明
统一 API	屏蔽不同模型接口差异
模型路由	按任务、成本、质量选择模型
限流配额	按用户、应用、部门控制额度
降级容灾	模型失败时切换备用方案
成本统计	记录 Token 和费用
安全审计	记录请求、响应和敏感事件
Prompt 管理	管理模板和版本

4. 模型路由策略

策略	示例
按任务路由	分类任务走小模型，复杂问答走强模型
按成本路由	默认低成本模型，失败后升级
按租户路由	不同客户使用不同模型
按延迟路由	实时场景选择低延迟模型
按安全路由	敏感数据走私有模型

5. 日志字段

建议记录：

• request_id。
• app_id / user_id。
• model。
• prompt_version。
• input_tokens / output_tokens。
• latency。
• status。
• error_code。
• safety_result。
• trace_id。

敏感内容要脱敏或摘要化记录。

6. 常见坑

问题	后果
网关只做转发	无法治理成本和安全
不记录 Token	成本无法归因
不支持降级	供应商故障影响业务
模型差异未抽象	切换模型困难
日志保存完整敏感输入	产生合规风险

7. Tips 快问快答

Q：小团队需要模型网关吗？

A：早期可以轻量封装，随着应用增多、模型增多和成本上升，就需要网关化治理。

Q：模型网关和 API 网关一样吗？

A：不完全一样。模型网关更关注 Token、模型路由、Prompt、安全审计和供应商适配。

Q：Prompt 管理放网关还是业务？

A：通用模板和版本治理可以放网关，强业务语义的 Prompt 仍应由业务系统负责。