使用Helm优化Kubernetes下的研发体验：基础设施即代码

Posted on |

容器即进程，Kubernetes则解决了如何部署和运行应用的问题。对于任何一个部署在Kubernetes得应用而言，通常都可以由几个固定的部分组成：Ingress,Service,Deployment等。直接使用Kubernetes原生的YAML定义服务，虽然能一定程度上简化应用的部署，但是对于大部分研发人员来说编写和使用YAML依然是一件相对痛苦的事情。HELM应允而生，Helm作为Kubernetes下的包管理工具，对原生服务定义过程进行了增强，通过模板化，参数化的形式大大简化用户部署Kubernetes应用的复杂度。

在本文中笔者，将以一个Spring Boot程序为例，介绍如何在软件研发端到端过程中是使用Helm。本文中所使用的示例代码可以通过Github下载。

创建应用程序

项目采用Maven作为项目的编译和构建工具，项目目录结构如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
├── README.md
├── chart
│   ├── Chart.yaml # Chart基本信息
│   ├── charts # 依赖
│   ├── templates # Kubernetes模板
│   │   ├── NOTES.txt
│   │   ├── _helpers.tpl
│   │   ├── deployment.yaml
│   │   ├── ingress.yaml
│   │   └── service.yaml
│   └── values.yaml # 变量
├── Dockerfile # Dockerfile定义
├── entrypoint.sh # 容器的entrypoint.sh文件
├── mvnw
├── mvnw.cmd
├── pom.xml 
├── src # 应用源码
│   └── main
│       └── java
│           └── hello
│               ├── Application.java
│               └── HelloController.java

该项目SCM中通过基础实施即代码的方式，我们定义了应用的3大要素：应用源码，应用是如何构建的（Dockerfile）以及应用是如何部署的(Chart)。

构建容器镜像

容器相关内容

1
2
├── Dockerfile # Dockerfile定义
├── entrypoint.sh # 容器的entrypoint.sh文件

为了简化容器镜像构建过程，在Dockerfile中我们采用了Multi-Stage Builds的方式构建镜像，Dockerfile的具体内容如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# Build
FROM maven:3.5.0-jdk-8-alpine AS builder

ADD ./pom.xml pom.xml
ADD ./src src/
RUN mvn clean package


# Package
FROM java:8

COPY --from=builder target/gs-spring-boot-0.1.0.jar gs-spring-boot.jar
RUN bash -c 'touch /gs-spring-boot.jar'

ADD entrypoint.sh entrypoint.sh
RUN chmod +x entrypoint.sh
ENTRYPOINT ["./entrypoint.sh"]

在第一个阶段中，我们将pom.xml以及源码加载到一个maven基础镜像中，并命名为builder，通过mvn clean package命令实现Java源码的编译打包，产生的jar包会保存到容器的targets目录下。

在第二个阶段中，我们在java:8基础镜像的基础上直接从builder容器中拷贝jar文件，到当前容器中。为了能够在容器中运行该jar文件，这里我们定义了一个entrypoint.sh作为容器的启动命令，其内容如下：

1
2
3
#!/usr/bin/env bash
ACTIVE_PROFILE=${PROFILE:=default}
java -Xmx1024m -Djava.security.egd=file:/dev/./urandom -jar gs-spring-boot.jar --spring.profiles.active=${ACTIVE_PROFILE} $@

这里需要注意的是在命令的最后我们添加了一个$@，该语法可以获取命令命令行中的所有参数，这样在后期运行容器时，可以在命令行中使用参数，覆盖应用的默认配置，例如--spring.profiles.active=prod

运行以下命令，编译并打包应用:

1
2
3
4
5
6
7
$ docker build -t yunlzheng/spring-app . # 修改为自己的镜像仓库
Sending build context to Docker daemon  16.38MB
Step 1/10 : FROM maven:3.5.0-jdk-8-alpine AS builder
 ---> 67d11473f554
......
Successfully built e332622092ce
Successfully tagged yunlzheng/spring-app:latest

上传镜像到镜像仓库中(需要实现注册容器镜像服务)

1
docker push yunlzheng/spring-app # 修改为自己的镜像仓库

构建Chart

通过容器镜像我们为服务定义了一个隔离的运行时环境，而为了能够让我们的应用程序能够运行到Kubernetes集群当中，我们还需要定义Helm相关的内容，来标准化容器的编排和部署信息：

1
2
3
4
5
6
7
8
9
10
├── chart
│   ├── Chart.yaml # Chart基本信息
│   ├── charts # 依赖
│   ├── templates # Kubernetes模板
│   │   ├── NOTES.txt
│   │   ├── _helpers.tpl
│   │   ├── deployment.yaml
│   │   ├── ingress.yaml
│   │   └── service.yaml
│   └── values.yaml # 变量

在以上结构中我们定义了该应用是如何在Kubernetes集群中运行的。在初始化应用时，用户可以通过使用helm命令生成以上内容：

1
2
$ helm create chart
Creating chart

Chart我们可以理解为一组K8S manifest文件的模板，Chart.yaml中包含了该chart的基本信息,如名称，版本等:

1
2
3
4
5
apiVersion: v1
appVersion: "1.0"
description: A Spring Boot Application
name: chart
version: 0.1.0

在values.yaml中，我们定义了当前模板中所有的变量，如下所示：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
replicaCount: 1

image:
  repository: yunlzheng/spring-app #修改为自己的镜像
  tag: latest
  pullPolicy: IfNotPresent

service:
  type: ClusterIP
  port: 8080 #容器映射的端口
  
ingress:
  enabled: true # 打开集群ingress
  annotations: {}
    # kubernetes.io/ingress.class: nginx
    # kubernetes.io/tls-acme: "true"
  path: /
  hosts:
    - spring-example.local
  tls: []

templates目录下，则是K8S用户熟悉的如deployment.yaml, service.yaml。当然你也可以根据自己的需求添加更多的模板文件。

以deployment.yaml为例，文件内容如下所示：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
# deployment.yaml
apiVersion: apps/v1beta2
kind: Deployment
metadata:
  name: {{ template "chart.fullname" . }}
  labels:
    app: {{ template "chart.name" . }}
    chart: {{ template "chart.chart" . }}
    release: {{ .Release.Name }}
    heritage: {{ .Release.Service }}
spec:
  replicas: {{ .Values.replicaCount }}
  selector:
    matchLabels:
      app: {{ template "chart.name" . }}
      release: {{ .Release.Name }}
  template:
    metadata:
      labels:
        app: {{ template "chart.name" . }}
        release: {{ .Release.Name }}
    spec:
      containers:
        - name: {{ .Chart.Name }}
          image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}"
          imagePullPolicy: {{ .Values.image.pullPolicy }}
          ports:
            - name: http
              containerPort: 8080
              protocol: TCP

在文件中使用了了values.yaml中定义的相关变量，如Values.replicaCount，Values.image.repository，Values.image.tag等，使用这些变量的好处是，在部署Chart的时候，我们可以在命令行中动态修改这些变量的值，例如，修改镜像部署的版本等， service.yaml中的内容也是类似的，这里就不做描述。

完成以上内容后，我们就可以将当前应用打包成一个chart文件，首先我们需要验证一下chart文件的内容：

1
2
3
4
5
6
$ cd chart
$ helm lint
==> Linting .
[INFO] Chart.yaml: icon is recommended

1 chart(s) linted, no failures

在确认chart格式没有问题之后，开发人员就可以直接通过helm部署实例到Kubernetes集群：

1
2
3
4
5
6
7
8
9
10
$ cd chart
$ helm install .
# 省略其它输出
==> v1/Service
NAME                        TYPE       CLUSTER-IP    EXTERNAL-IP  PORT(S)   AGE
womping-sparrow-spring-app  ClusterIP  172.19.11.41  <none>       8080/TCP  1s

NOTES:
1. Get the application URL by running these commands:
  http://spring-example.local/

开发人员访问，并验证应用是否按照预期运行：

[attach]15417[/attach]

发布Chart

在确认应用能够正常运行之后，我们就可以对Chart进行打包和发布了。对于运维和测试人员，而言，他们只需要直接使用特定版本的应用chart，并对其进行测试或者是部署：

1
2
3
$ cd ..
$ helm package chart
Successfully packaged chart and saved it to: /Users/yunlong/workspace/project-samples/containerization-spring-with-helm/chart-0.1.0.tgz

在默认情况下，helm package命令会使用Charts.yaml中文件定义的版本。 而如果在持续集成工具中，如果我们希望每次都能动态生成一个新版本的Chart，那在打包时，可以通过–version，动态修改，从而确保每次持续集成过程都能产生一个新的版本，并且能够对该版本进行独立验证。

1
2
$ helm package chart --version 0.0.2
Successfully packaged chart and saved it to: /workspace/tmp/spring-sample/chart-0.0.2.tgz

万事具备，当然现在还没有任何人能够使用你构建的chart，为了能够让其他人（测试，运维，or anyone）能够使用Chart我们需要将Chart发布到一个公共的仓库(Repository)当中。

Helm官方提供了一个名叫Chartmusem的开源项目，支持对接AWS S3，Google Storage，Alibaba OSS等存储服务，用户可通过其API上传Chart,并且自动生成仓库索引文件，有精力的同学可以自行研究。

这里我们直接使用阿里云效提供的Helm仓库服务，用户只需要注册账号，并开通私有仓库服务，即可免费创建自己私有的，无容量限制的Helm仓库。

由于通过阿里云效创建的Helm仓库是私有的，因此在添加仓库时需要通过参数--username=kHKvnX和--password=WsCH7zuHH2指定用户名和密码：

1
helm repo add play-helm https://repomanage.rdc.aliyun.com/helm_repositories/26125-play-helm --username=kHKvnX --password=WsCH7zuHH2

为了更好的Chart发布体验，Helm官方为Chartmusem提供了一个Helm Push的插件，云效Helm仓库服务对该插件进行了完整兼容，因此用户可以直接使用该插件完成chart的发布：

安装Helm Push插件：

1
2
3
4
$ helm plugin install https://github.com/chartmuseum/helm-push
Downloading and installing helm-push v0.7.1 ...
https://github.com/chartmuseum/helm-push/releases/download/v0.7.1/helm-push_0.7.1_darwin_amd64.tar.gz
Installed plugin: push

由于已经将Helm仓库添加到了本地，我们可以直接使用以下命令将chart发布到仓库中：

1
2
3
$ helm push chart-0.1.0.tgz play-helm 
Pushing chart-0.1.0.tgz to play-helm...
Done.

发布完成后重新更新本地仓库索引：

1
2
3
4
$ helm update
...Successfully got an update from the "play-helm" chart repository
...Successfully got an update from the "stable" chart repository
Update Complete. ⎈ Happy Helming!⎈

搜索play-helm仓库并部署的chart：

1
2
3
4
5
$ helm search play-helm
NAME            CHART VERSION   APP VERSION     DESCRIPTION              
play-helm/chart 0.1.0           1.0             A Spring Boot Application

$ helm install play-helm/chart

其它的小技巧

在发布镜像的时候指定版本：

1
2
3
$ helm push chart-0.1.0.tgz play-helm --version=0.2.0
Pushing chart-0.2.0.tgz to play-helm...
Done.

直接发布chart目录:

1
2
3
$ helm push chart play-helm --version=0.3.0
Pushing chart-0.1.0.tgz to play-helm...
Done.

在不添加helm仓库的情况下直接发布chart:

1
2
3
$ helm push chart https://repomanage.rdc.aliyun.com/helm_repositories/26125-play-helm --username=kHKvnX --password=WsCH7zuHH2
Pushing chart-0.1.0.tgz to https://repomanage.rdc.aliyun.com/helm_repositories/26125-play-helm...
Done.

小结

到目前为止，我们展示了如何在软件研发的端到端过程中使用Helm，通过基础设施即代码的模式，开发人员可以直接在源码中通过Chart定义管理应用的部署架构，在完成开发工作后开发人员只需要将Chart发布到Helm仓库中，接下来无论是测试，还是运维都可以直接使用Chart快速在Kubernetes集群中对应用进行测试与发布。

下一篇文章中，我们将会介绍如何使用Jenkins构建一条基于容器和Helm的持续交付流水线，同时介绍研发团队中的不同角色如何围绕Helm，围绕持续交付流水线实现一个高效，协作的研发流程。

参考资料