11月17日,InfoQ中国刊文介绍了作业帮在Flink实时计算资源优化方面的实践。实时作业的负载很少一成不变:并行度按高峰配置,低峰时资源大量闲置;按日常负载配置,突发流量又会迅速推高积压和延迟。瓶颈位置也不固定,可能出现在Source、中间算子或Sink。流量和瓶颈都在变化,作业并行度却停留在提交时的固定值。
作业帮首先尝试让作业根据负载自动调整并行度,但算出目标并行度只是扩缩的起点。对有状态作业而言,调整并行度还涉及任务重新部署和状态恢复;并行度降下来后,相应计算资源未必能同步释放。如何让作业在新并行度下恢复运行并回收多余资源,成为自动扩缩落地必须解决的问题。
在集群层面,作业帮的实时任务主要运行在K8s集群中,日常负载由常驻节点承载。多个作业共享节点时,写入量和数据分布差异会使各Pod处理量不同,即使Pod数量分布均匀,部分节点仍可能出现热点,单纯增加并行度未必能缓解延迟。高峰负载超出常驻资源承载能力时,可借助公有云Serverless节点补充容量,并利用实时与离线K8s集群错峰,在晚高峰使用离线集群空闲资源;高峰过后再逐步回迁作业、归还资源。
在技术选型上,作业帮采用Flink Kubernetes Operator内置的Autoscaler,根据JobGraph和Flink运行指标计算目标并行度,而非仅看CPU——下游反压可能让上游CPU使用率下降,Source lag却仍在增长。Autoscaler从Source端估算处理需求,沿拓扑传播,再结合各顶点处理能力确定并行度,并分别估算持续输入与积压追赶所需速率。通过作业内自动扩缩与集群重调度相结合,作业帮实现了Flink计算资源约30%的节省。