Go+Kubernetes 1.30實戰：從零構建一個AI推理平台

為什麼AI推理平台需要Kubernetes？

AI推理服務有獨特的運維挑戰：GPU資源昂貴、模型載入慢、流量波動大、冷啟動代價高。

---

Go排程器：GPU感知排程

func (s *GPUScheduler) Filter(ctx context.Context, state *framework.CycleState,
    pod *v1.Pod, nodeInfo *framework.NodeInfo) *framework.Status {

    gpuRequest := getGPURequest(pod)
    availableGPU := getAvailableGPU(nodeInfo)
    if availableGPU < gpuRequest {
        return framework.NewStatus(framework.Unschedulable, "insufficient GPU")
    }
    return nil
}

---

模型服務 + HPA自動擴縮容

apiVersion: apps/v1
kind: Deployment
metadata:
  name: llm-inference
spec:
  replicas: 3
  template:
    spec:
      containers:
      - name: vllm
        resources:
          limits:
            nvidia.com/gpu: "2"

---

總結

1. Go排程器：GPU感知排程，最佳化GPU資源利用率
2. K8s HPA：基於推理佇列長度自動擴縮容
3. 金絲雀部署：模型更新零停機，自動回滾
4. 可觀測性：GPU利用率、佇列長度、推理延遲全鏈路監控

AI推理平台不是「部署一個模型」，而是「運營一套系統」。