谷歌宣布公开预览API Gateway流式处理功能,将传统的请求-响应模型扩展至需要实时通信的应用程序。据谷歌称,这对于提供流式模型响应、多步骤代理工作流和交互式会话的AI应用尤为重要。新功能使流式端点能够在API Gateway背后运行,同时保留现有的网关策略和安全控制措施。
此前,在API Gateway中构建这类体验的开发者不得不做出两难选择:要么将API Gateway部署在API前端并放弃流式传输,要么让流式传输端点绕过网关,从而放弃身份验证、API密钥强制执行以及可观测性。API Gateway现支持多种流式传输模式,包括服务器发送事件(SSE)、分块传输编码和HTTP响应流式传输、WebSockets以及gRPC。流式连接最多可保持打开状态一小时,此后客户端需建立新连接。
新版本无需更改现有API规范,也无需使用特定API、扩展或注解。谷歌强调,所有现有API配置和功能都将照常运行,包括API密钥强制执行、JWT验证、后端服务账户身份验证、Cloud Logging和Cloud Monitoring集成,以及路径模板和请求路由。此外,网关主机名改为确定性格式GATEWAY_ID-PROJECT_NUMBER.REGION.gateway.dev,开发者可在创建资源之前就对其进行引用和配置。
API Gateway还支持模型路由功能,提供一个兼容OpenAI的单一端点,可根据请求负载中的模型字段将请求路由至Gemini、Claude或OpenAI gpt-oss模型。模型路由与流式传输相结合,意味着客户端可获得熟悉的、基于标准的流式传输接口,同时集中控制哪些模型可供访问、由谁访问以及遵循何种策略。
针对该公告,X平台用户emildrops指出两个重要局限:现有网关无法就地切换;延迟衡量的是整个数据流而非首字节到达时间,因此延迟图表可能因非故障原因而显得异常。LinkedIn用户Ehsan Elahi Zaheer也提醒,网关请求延迟指标衡量的是数据流持续时间而非首字节到达时间,一张延迟图表可能掩盖截然不同的用户体验。预览期间,开发者必须在创建网关时通过指定--enable-streaming命令行标志显式启用该功能。