11月20日,红帽全球副总裁兼大中华区总裁曹衡康(Victor Tsao)在谈及企业AI落地时提到一个常见困境:刚选定模型、完成平台搭建、业务流程也已接入,但没过几天市场上又出现表现更好的模型,CEO转头就问CIO能不能也试试。
对企业而言,换模型并不像个人更换聊天工具那么简单。模型背后连接着GPU适配、推理服务、数据接口和业务流程,前一套系统刚跑顺,新模型就来了,企业既不想错过技术进步,也不愿为此重新搭建整套环境。Agent的出现又带来另一层压力:当智能体接入企业内部系统,能访问什么数据、执行哪些操作必须明确,若缺乏有效权限约束,Agent为完成任务甚至可能直接删除生产数据库。
曹衡康认为,CIO真正关心的不只是哪个模型最好,而是当前选择的平台能否适应持续变化的技术环境。红帽将这一思路概括为“四个Any”:任意加速器、任意云、任意模型和任意智能体。据红帽介绍,目前其平台支持20多个开源模型、合计700多个版本;加速器方面除NVIDIA、Intel和AMD外,也已支持国产GPU厂商沐曦,并继续推进其他国产算力产品适配。
红帽大中华区方案架构部总经理王慧慧(Aella Wang)提到,红帽早期将相关场景称为GPU as a Service,通过统一平台管理不同品牌GPU;随着推理需求增长,客户更多谈论Token工厂,将GPU资源集中起来生产Token并作为服务提供给业务部门,再往上是Model as a Service。
曹衡康指出,过去一年单位Token价格虽持续下降,但企业总账单不一定减少。随着思考模型和Agent普及,一项任务可能需要多轮推理、工具调用和结果验证,Token消耗量随之增加。红帽因此提出企业不能只做Token消费者,还应考虑成为Token生产者,通过自建推理平台提高算力利用率;但自建并非天然更便宜,需要稳定业务负载、合理GPU利用率、专业运维团队和持续模型优化能力,企业真正需要比较的是完成一项有效任务的综合成本。