实战教程：使用Metrics Server配置Kubernetes HPA实现Pod智能扩缩容

Hang tight while we grab the latest from your chart repositories… …Successfully got an update from the “metrics-server” chart repository Update Complete. ⎈Happy Helming!⎈

既然您已经将存储库添加到Helm中，您现在可以将metrics-server添加到您的Kubernetes部署中。您可以在这里编写自己的部署配置，但本教程将按照Silicon Cloud的Kubernetes入门套件进行，该套件包含了metrics-server的配置。

为了做到这一点，请克隆Kubernetes入门套件的Git仓库。

1. git clone https://github.com/digitalocean/Kubernetes-Starter-Kit-Developers.git

Metrics-Server的配置文件位于Kubernetes-Starter-Kit-Developers/09-scaling-application-workloads/assets/manifests/metrics-server-values-v3.8.2.yaml。您可以使用nano或您喜欢的文本编辑器查看或编辑它。

1. nano Kubernetes-Starter-Kit-Developers/09-scaling-application-workloads/assets/manifests/metrics-server-values-v3.8.2.yaml

这包含了几个股票参数。请注意，副本是一个固定值，为2。

Starter Kit metrics-server 配置

参考: Metrics Server GitHub

## Starter Kit metrics-server 配置
## 参考: https://github.com/kubernetes-sigs/metrics-server/blob/metrics-server-helm-chart-3.8.2/charts/metrics-server
##

# 要运行的 metrics-server 副本数量
replicas: 2

apiService:
  # 指定是否应创建 v1beta1.metrics.k8s.io API 服务。
  #
  # 您通常希望启用此选项！如果禁用 API 服务创建，则必须在此图表之外管理它，
  # 例如，使水平 Pod 自动缩放与此版本一起工作。
  create: true

hostNetwork:
  # 指定 metrics-server 是否应以 hostNetwork 模式启动。
  #
  # 如果您为 Pod 使用备用覆盖网络且
  # API 服务器无法与 metrics-server 通信，则需要启用此选项。例如，
  # 如果在 EKS 上使用 Weave 网络，则需要此选项
  enabled: false

请参考 Metrics Server 图表页面上的说明，了解 metrics-server 的可用参数。

要部署 Metrics Server，请执行以下命令：

1. HELM_CHART_VERSION=“3.8.2”
3. helm install metrics-server metrics-server/metrics-server –version “$HELM_CHART_VERSION“ \
4. –namespace metrics-server \
5. –create-namespace \
6. -f “Kubernetes-Starter-Kit-Developers/09-scaling-application-workloads/assets/manifests/metrics-server-values-v${HELM_CHART_VERSION}.yaml”

这将在您配置的 Kubernetes 集群中部署 Metrics 服务器。

NAME: metrics-server
LAST DEPLOYED: Wed May 25 11:54:43 2022
NAMESPACE: metrics-server
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
***********************************************************************
* Metrics Server                                                   *
***********************************************************************
Chart version: 3.8.2
App version: 0.6.1
Image tag: k8s.gcr.io/metrics-server/metrics-server:v0.6.1
***********************************************************************

部署完成后，您可以使用 helm ls 命令来验证 metrics-server 是否已添加到您的部署中。

1. helm ls -n metrics-server

NAME            NAMESPACE       REVISION        UPDATED                                 STATUS          CHART                   APP VERSION
metrics-server  metrics-server  1               2022-02-24 14:58:23.785875 +0200 EET   deployed        metrics-server-3.8.2    0.6.1

接下来，您可以检查部署到 metrics-server 命名空间的所有 Kubernetes 资源的状态。

1. kubectl get all -n metrics-server

根据您所部署的配置，deployment.apps 和 replicaset.apps 的值应该计算出两个可用实例。

NAME                                      READY   STATUS    RESTARTS   AGE
pod/metrics-server-694d47d564-9sp5h       1/1     Running   0          8m54s
pod/metrics-server-694d47d564-cc4m2       1/1     Running   0          8m54s

NAME                         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)   AGE
service/metrics-server       ClusterIP   10.245.92.63           443/TCP   8m54s

NAME                                 READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/metrics-server       2/2     2            2           8m55s

NAME                                            DESIRED   CURRENT   READY   AGE
replicaset.apps/metrics-server-694d47d564       2         2         2       8m55s

您现在已将指标服务器部署到您的 Kubernetes 集群中。下一步，您将查看 HorizontalPodAutoscaler 自定义资源定义的一些参数。

第二步 – 了解水平 Pod 自动缩放器 (HPA)

到目前为止，您的配置都使用了一个固定值来部署 ReplicaSet 实例的数量。在这一步中，您将学习如何定义一个 HorizontalPodAutoscaler CRD，以便该值可以动态增加或缩小。

一个典型的 HorizontalPodAutoscaler CRD 的样子如下：

crd.yaml 的含义是什么？

这是文章《如何使用Metrics Server配置Kubernetes水平Pod自动缩放器》的第3部分（共7部分）。

apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
  name: my-app-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: my-app-deployment
  minReplicas: 1
  maxReplicas: 3
  metrics:
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: 50

这个配置中使用的参数如下：

• spec.scaleTargetRef：对正在缩放的资源的命名引用。
• spec.minReplicas：自动缩放器可以缩减到的副本数量的下限。
• spec.maxReplicas：副本数量的上限。
• spec.metrics.type：用于计算所需副本数量的指标。此示例使用Resource类型，它告诉HPA基于平均CPU（或内存）利用率来扩展部署。averageUtilization设置为阈值50。

你有两种选择来创建应用部署的高性能架构（HPA）：

1. 使用 kubectl autoscale 命令在现有的部署上进行自动缩放。
2. 创建一个 HPA YAML 清单，然后使用 kubectl 将更改应用到您的集群。

你将首先尝试选项#1，使用Silicon Cloud Kubernetes入门套件中的另一种配置。其中包含一个名为myapp-test.yaml的部署文件，通过创建一些任意的CPU负载来演示HPA的工作情况。

你可以使用nano或你喜欢的文本编辑器来查看那个文件。

$ nano Kubernetes-Starter-Kit-Developers/09-scaling-application-workloads/assets/manifests/hpa/metrics-server/myapp-test.yaml

我的应用程序测试文件 myapp-test.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: myapp-test
spec:
  selector:
    matchLabels:
      run: myapp-test
  replicas: 1
  template:
    metadata:
      labels:
        run: myapp-test
    spec:
      containers:
        - name: busybox
          image: busybox
          resources:
            limits:
              cpu: 50m
            requests:
              cpu: 20m
          command: ["sh", "-c"]
          args:
            - while [ 1 ]; do
              echo "Test";
              sleep 0.01;
              done

请注意文件的最后几行。它们包含一些shell语法，可以每秒重复打印”Test”一百次，以模拟负载。完成文件审核后，您可以使用kubectl将其部署到您的集群中。

$ kubectl apply -f Kubernetes-Starter-Kit-Developers/09-scaling-application-workloads/assets/manifests/hpa/metrics-server/myapp-test.yaml

接下来，使用 kubectl autoscale 创建一个针对 myapp-test 部署的 HorizontalPodAutoscaler。

$ kubectl autoscale deployment myapp-test --cpu-percent=50 --min=1 --max=3

请注意传递给此命令的参数 – 这意味着当CPU利用率达到50％时，您的部署将在1到3个副本之间进行扩展。

你可以通过运行 kubectl get hpa 来检查是否已创建 HPA 资源。

$ kubectl get hpa

最终输出的”目标”栏将显示当前使用量占目标使用量的百分比。

NAME         REFERENCE           TARGETS    MINPODS   MAXPODS   REPLICAS   AGE
myapp-test   Deployment/myapp-test   240%/50%   1         3         3          52s

$ kubectl describe hpa myapp-test

名称: myapp-test 命名空间: default 标签: <none> 注释: <none> 创建时间: Mon, 28 May 2022 10:10:50 -0800 引用: Deployment/myapp-test 指标: ( 当前 / 目标 ) pods上的cpu资源 (占请求的百分比): 240% (48m) / 50% 最小副本数: 1 最大副本数: 3 部署pods: 3 当前 / 3 期望 … 事件: 类型 原因 时间 来源 消息 —- —— —- —- ——- Normal SuccessfulRescale 17s horizontal-pod-autoscaler 新大小: 2; 原因: cpu资源利用率 (占请求的百分比) 超过目标 Normal SuccessfulRescale 37s horizontal-pod-autoscaler 新大小: 3; 原因: cpu资源利用率 (占请求的百分比) 超过目标

这是kubectl自动缩放的方法。在生产环境中，通常应该使用专门的YAML清单来定义每个HPA，而不是使用这种方法。这样，您可以通过将清单提交到Git仓库并根据需要进行修改来跟踪更改。

在本教程的最后一步，您将通过一个示例来走一遍。在继续之前，删除myapp-test的部署和相应的HPA资源。

1. kubectl delete hpa myapp-test
2. kubectl delete deployment myapp-test

步骤三 – 通过度量服务器自动缩放应用程序

在这最后一步中，您将尝试两种不同的方法通过YAML清单生成服务器负载并进行扩展。

1. 一个应用部署通过执行一些CPU密集型计算来创建持续负载。

一个Shell脚本通过连续快速发出HTTP调用来模拟外部负载，用于一个Web应用程序。

恒定负载测试

在这种情况下，您将使用Python创建一个示例应用程序，执行一些CPU密集型计算。类似于上一步中的shell脚本，这段Python代码包含在入门套件的示例清单之一中。您可以使用nano或您最喜欢的文本编辑器打开constant-load-deployment-test.yaml文件。

1. nano Kubernetes-Starter-Kit-Developers/09-scaling-application-workloads/assets/manifests/hpa/metrics-server/constant-load-deployment-test.yaml

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: python-test-code-configmap
data:
  entrypoint.sh: |-
    #!/usr/bin/env python

    import math

    while True:
      x = 0.0001
      for i in range(1000000):
        x = x + math.sqrt(x)
        print(x)
      print("OK!")

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: constant-load-deployment-test
spec:
  selector:
    matchLabels:
      run: python-constant-load-test
  replicas: 1
  template:
    metadata:
      labels:
        run: python-constant-load-test
    spec:
      containers:
        - name: python-runtime
          image: python:alpine3.15
          resources:
            limits:
              cpu: 50m
            requests:
              cpu: 20m
          command:
            - /bin/entrypoint.sh
          volumeMounts:
            - name: python-test-code-volume
              mountPath: /bin/entrypoint.sh
              readOnly: true
              subPath: entrypoint.sh
      volumes:
        - name: python-test-code-volume
          configMap:
            defaultMode: 0700
            name: python-test-code-configmap

以上突出显示了一个Python代码，它重复生成任意平方根。部署将获取一个托管所需Python运行时的Docker镜像，然后将ConfigMap附加到托管之前显示的示例Python脚本的应用Pod上。

首先，为这个部署创建一个独立的命名空间（以便更好地观察），然后通过kubectl部署它。

1. kubectl create ns hpa-constant-load
3. kubectl apply -f Kubernetes-Starter-Kit-Developers/09-scaling-application-workloads/assets/manifests/hpa/metrics-server/constant-load-deployment-test.yaml -n hpa-constant-load

configmap/python-test-code-configmap created deployment.apps/constant-load-deployment-test created

NAME READY UP-TO-DATE AVAILABLE AGE
constant-load-deployment-test 1/1 1 1 8s

$ nano Kubernetes-Starter-Kit-Developers/09-scaling-application-workloads/assets/manifests/hpa/metrics-server/constant-load-hpa-test.yaml -n hpa-constant-load

apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
  name: constant-load-test
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: constant-load-deployment-test
  minReplicas: 1
  maxReplicas: 3
  metrics:
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: 50

$ kubectl apply -f Kubernetes-Starter-Kit-Developers/09-scaling-application-workloads/assets/manifests/hpa/metrics-server/constant-load-hpa-test.yaml -n hpa-constant-load

$ kubectl get hpa constant-load-test -n hpa-constant-load

NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
constant-load-test Deployment/constant-load-deployment-test 255%/50% 1 3 3 49s

$ nano Kubernetes-Starter-Kit-Developers/09-scaling-application-workloads/assets/manifests/hpa/metrics-server/quote_deployment.yaml

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: quote
spec:
  replicas: 1
  selector:
    matchLabels:
      app: quote
  template:
    metadata:
      labels:
        app: quote
    spec:
      containers:
        - name: quote
          image: docker.io/datawire/quote:0.4.1
          ports:
            - name: http
              containerPort: 8080
          resources:
            requests:
              cpu: 100m
              memory: 50Mi
            limits:
              cpu: 200m
              memory: 100Mi

---
apiVersion: v1
kind: Service
metadata:
  name: quote
spec:
  ports:
    - name: http
      port: 80
      targetPort: 8080
  selector:
    app: quote

$ kubectl create ns hpa-external-load
$ kubectl apply -f Kubernetes-Starter-Kit-Developers/09-scaling-application-workloads/assets/manifests/hpa/metrics-server/quote_deployment.yaml -n hpa-external-load

$ kubectl get all -n hpa-external-load

apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
  name: external-load-test
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: quote
  behavior:
    scaleDown:
      stabilizationWindowSeconds: 60
  minReplicas: 1
  maxReplicas: 3
  metrics:
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: 20

#!/usr/bin/env sh

echo
echo "[INFO] Starting load testing in 10s..."
sleep 10
echo "[INFO] Working (press Ctrl+C to stop)..."
kubectl run -i --tty load-generator \
    --rm \
    --image=busybox \
    --restart=Never \
    -n hpa-external-load \
    -- /bin/sh -c "while sleep 0.001; do wget -q -O- http://quote; done" > /dev/null 2>&1
echo "[INFO] Load testing finished."