首页 / 技术文章 / 算力调度

边缘算力调度

把闲置 GPU 变成产能:边缘节点池调度的四个工程问题

一堆散落在不同楼层的机器,怎么组织成能稳定出活的产能?任务分片、节点漂移、异构卡型、结果回传——四个问题不解决,节点池就只是个机器清单。

一、任务分片:切错了,再多机器也快不起来

一个任务派给一台机器,是最容易想到也最容易浪费的做法。真正的并行要按任务的天然边界切:批量转码按文件切、批量生成按主题切、批量推理按数据分片切。

切分粒度的经验值:单片执行时间控制在五到二十分钟。太细,调度开销和网络往返占比过高;太粗,一台慢机器拖住整个批次,长尾比平均耗时更致命。

还要设计「失败重派」。任何一片失败,应该自动退回队列并被另一台机器接走,而不是让整批停下等人。片级重试加最大重试次数,是节点池能无人值守的前提。

二、节点漂移:机器会睡、会断、会被人拔电

园区里的机器不是机房里的服务器。下班被关机、显示器休眠带睡整机、网络交换机重启、保洁拔错插排——这些都真实发生过。调度器必须假设节点随时会消失。

对策有三条:一是心跳超时就把在跑的任务标记为可疑并转入重派,不要等它回来;二是关键节点配置远程唤醒,夜间批量任务开始前先拉起来;三是所有中间产物落共享盘而不是本地盘,节点掉线后另一台能接着干。

第三条最容易被忽略。结果只存在本地临时目录,机器一断,几小时的算力就白烧了。

三、异构:不同卡型混在一池怎么排

现实中的节点池一定是混编的:有专业卡、有消费卡、有老机器。同一个任务派给显存小的那台,不是慢,是直接跑不起来。

做法是给节点打能力标签,而不是只报「在线」。标签至少包含:显存容量、可用模型尺寸、是否能跑视频编码、网络位置(同楼层/跨楼层)、是否允许夜间使用。调度时先按能力过滤,再按负载排序。

标签必须能自动校验,不能只靠人工登记。常见故障就是标签写着能跑七 B,实际那台机器上模型根本没装、服务没起,任务派过去全失败。派单前的探活检查比标签本身更重要。

四、结果回传与验收:没人验收的产能等于没有

批量产出最容易失控的环节是验收。几百个文件生成完,谁来看质量?做法是流水线末尾接一道自动质检:文件大小、时长、关键字段、格式合规、抽帧比对,规则先跑一遍,只把不合格的挑出来重派。

质检规则要能落成配置,不要写死在代码里。业务方今天要求时长不少于三十秒,明天要求口播必须出现品牌词,改配置比改代码快一个数量级。

最后是计量。每片任务消耗了多少机器时间、产出多少合格件,都要记录。没有计量,就算不清产能成本,也判断不了该加机器还是该换模型。

五、一条最小可用的生产线长什么样

一个队列、一个调度器、一组带能力标签的节点、一块共享盘、一道自动质检、一份计量日志。六件东西齐了,就能从「手动一台台派」升级成「投任务等结果」。

规模不用大。三五台机器跑通这条链,比二十台机器各自为战产出更多——因为它可复制,而各自为战不可复制。

← 全部文章 聊具体场景