• 使用Ceph做持久化存储创建MySQL集群
    • 使用 kubernetes 集群外部的 Ceph 存储
    • Galera Cluster介绍
    • 详细步骤
      • 配置 Ceph
        • 1. 生成 Ceph secret
        • 2. 创建租户namespace
        • 3. 创建 Ceph secret
        • 4. 创建 StorageClass
      • 配置 MySQL
        • 1. 创建 MySQL 配置文件
        • 2. 创建 MySQL root 用户和密码
        • 3. 创建 yaml 配置文件
    • 部署 MySQL 集群
    • 验证
    • 问题记录
    • 参考

    使用Ceph做持久化存储创建MySQL集群

    本文中用到的 yaml 文件可以在 ../manifests/mariadb-cluster 目录下找到。

    下面我们以部署一个高可用的 MySQL 集群为例,讲解如何使用 Ceph 做数据持久化,其中使用 StorageClass 动态创建 PV,Ceph 集群我们使用 kubernetes 集群外部的已有的集群,我们没有必要重新部署了。

    在 1.4 以后,kubernetes 提供了一种更加方便的动态创建 PV 的方式;也就是说使用 StoragaClass 时无需预先创建固定大小的 PV,等待使用者创建 PVC 来使用;而是直接创建 PVC 即可分配使用。

    使用 kubernetes 集群外部的 Ceph 存储

    在部署 kubernetes 之前我们就已经有了 Ceph 集群,因此我们可以直接拿来用。但是 kubernetes 的所有节点(尤其是 master 节点)上依然需要安装 ceph 客户端。

    1. yum install -y ceph-common

    还需要将 ceph 的配置文件 ceph.conf 放在所有节点的 /etc/ceph 目录下。

    Kubernetes 使用 ceph 存储需要用到如下配置:

    • Monitors: Ceph montors 列表
    • Path:作为挂载的根路径,默认是 /
    • User:RADOS用户名,默认是 admin
    • secretFile:keyring 文件路径,默认是 /etc/ceph/user.secret,我们 Ceph 集群提供的文件是 ceph.client.admin.keyring,将在下面用到
    • secretRef:Ceph 认证 secret 的引用,如果配置了将会覆盖 secretFile。
    • readOnly:该文件系统是否只读。

    Galera Cluster介绍

    Galera是一个MySQL(也支持MariaDB,Percona)的同步多主集群软件。

    从用户视角看,一组Galera集群可以看作一个具有多入口的MySQL库,用户可以同时从多个IP读写这个库。目前Galera已经得到广泛应用,例如Openstack中,在集群规模不大的情况下,稳定性已经得到了实践考验。真正的multi-master,即所有节点可以同时读写数据库。

    详细步骤

    以下步骤包括创建 Ceph 的配置 和 MySQL 的配置两部分。

    配置 Ceph

    关于 Ceph 的 yaml 文件可以在 ../manifest/mariadb-cluster 目录下找到。

    1. 生成 Ceph secret

    使用 Ceph 管理员提供给你的 ceph.client.admin.keyring 文件,我们将它放在了 /etc/ceph 目录下,用来生成 secret。

    1. grep key /etc/ceph/ceph.client.admin.keyring |awk '{printf "%s", $NF}'|base64

    将获得加密后的 key:QVFDWDA2aFo5TG5TQnhBQVl1b0lUL2V3YlRSaEtwVEhPWkxvUlE9PQ==,我们将在后面用到。

    2. 创建租户namespace

    创建 galera-namespace.yaml 文件内容为:

    1. apiVersion: v1
    2. kind: Namespace
    3. metadata:
    4. name: galera

    3. 创建 Ceph secret

    创建 ceph-secret.yaml 文件内容为:

    1. apiVersion: v1
    2. kind: Secret
    3. metadata:
    4. name: ceph-secret
    5. namespace: galera
    6. type: "kubernetes.io/rbd"
    7. data:
    8. key: QVFDWDA2aFo5TG5TQnhBQVl1b0lUL2V3YlRSaEtwVEhPWkxvUlE9PQ==

    4. 创建 StorageClass

    创建 ceph-class.yaml 文件内容为:

    1. apiVersion: storage.k8s.io/v1
    2. kind: StorageClass
    3. metadata:
    4. name: ceph-web
    5. provisioner: kubernetes.io/rbd
    6. parameters:
    7. monitors: 172.28.7.98,172.28.7.99,172.28.7.100
    8. adminId: admin
    9. adminSecretName: ceph-secret
    10. adminSecretNamespace: galera
    11. pool: rbd #此处默认是rbd池,生产上建议自己创建存储池隔离
    12. userId: admin
    13. userSecretName: ceph-secret

    此配置请参考 kubernetes 官方文档:https://kubernetes.io/docs/concepts/storage/persistent-volumes/#ceph-rbd

    配置 MySQL

    1. 创建 MySQL 配置文件

    创建 mysql-config.yaml 文件内容为:

    1. apiVersion: v1
    2. kind: ConfigMap
    3. metadata:
    4. name: mysql-config-vol
    5. namespace: galera
    6. labels:
    7. app: mysql
    8. data:
    9. mariadb.cnf: |
    10. [client]
    11. default-character-set = utf8
    12. [mysqld]
    13. character-set-server = utf8
    14. collation-server = utf8_general_ci
    15. # InnoDB optimizations
    16. innodb_log_file_size = 64M
    17. galera.cnf: |
    18. [galera]
    19. user = mysql
    20. bind-address = 0.0.0.0
    21. # Optimizations
    22. innodb_flush_log_at_trx_commit = 0
    23. sync_binlog = 0
    24. expire_logs_days = 7
    25. # Required settings
    26. default_storage_engine = InnoDB
    27. binlog_format = ROW
    28. innodb_autoinc_lock_mode = 2
    29. query_cache_size = 0
    30. query_cache_type = 0
    31. # MariaDB Galera settings
    32. #wsrep_debug=ON
    33. wsrep_on=ON
    34. wsrep_provider=/usr/lib/galera/libgalera_smm.so
    35. wsrep_sst_method=rsync
    36. # Cluster settings (automatically updated)
    37. wsrep_cluster_address=gcomm://
    38. wsrep_cluster_name=galera
    39. wsrep_node_address=127.0.0.1

    2. 创建 MySQL root 用户和密码

    创建加密密码

    1. $ echo -n jimmysong|base64
    2. amltbXlzb25n

    注意:一定要用-n 去掉换行符,不然会报错。

    创建 root 用户

    1. $ echo -n root |base64
    2. cm9vdA==

    创建 MySQL secret

    创建 mysql-secret.yaml 文件内容为:

    1. apiVersion: v1
    2. kind: Secret
    3. metadata:
    4. name: mysql-secrets
    5. namespace: galera
    6. labels:
    7. app: mysql
    8. data:
    9. # Root password: changeit run echo -n jimmysong|base64
    10. root-password: amltbXlzb25n
    11. # Root user: root
    12. root-user: cm9vdA==

    3. 创建 yaml 配置文件

    创建 MySQL 的 yaml 文件 galera-mariadb.yaml 内容为:

    1. apiVersion: v1
    2. kind: Service
    3. metadata:
    4. annotations:
    5. service.alpha.kubernetes.io/tolerate-unready-endpoints: "true"
    6. name: mysql
    7. namespace: galera
    8. labels:
    9. app: mysql
    10. tier: data
    11. spec:
    12. ports:
    13. - port: 3306
    14. name: mysql
    15. clusterIP: None
    16. selector:
    17. app: mysql
    18. ---
    19. apiVersion: apps/v1beta1
    20. kind: StatefulSet
    21. metadata:
    22. name: mysql
    23. namespace: galera
    24. spec:
    25. serviceName: "mysql"
    26. replicas: 3
    27. template:
    28. metadata:
    29. labels:
    30. app: mysql
    31. tier: data
    32. annotations:
    33. pod.beta.kubernetes.io/init-containers: '[
    34. {
    35. "name": "galera-init",
    36. "image": "sz-pg-oam-docker-hub-001.tendcloud.com/library/k8s-galera-init:latest",
    37. "args": ["-service=mysql"],
    38. "env": [
    39. {
    40. "name": "POD_NAMESPACE",
    41. "valueFrom": {
    42. "fieldRef": { "apiVersion": "v1", "fieldPath": "metadata.namespace" }
    43. }
    44. },
    45. {
    46. "name": "SAFE_TO_BOOTSTRAP",
    47. "value": "1"
    48. },
    49. {
    50. "name": "DEBUG",
    51. "value": "1"
    52. }
    53. ],
    54. "volumeMounts": [
    55. {
    56. "name": "config",
    57. "mountPath": "/etc/mysql/conf.d"
    58. },
    59. {
    60. "name": "data",
    61. "mountPath": "/var/lib/mysql"
    62. }
    63. ]
    64. }
    65. ]'
    66. spec:
    67. terminationGracePeriodSeconds: 10
    68. containers:
    69. - name: mysql
    70. image: sz-pg-oam-docker-hub-001.tendcloud.com/library/mariadb:10.1
    71. imagePullPolicy: IfNotPresent
    72. ports:
    73. - containerPort: 3306
    74. name: mysql
    75. - containerPort: 4444
    76. name: sst
    77. - containerPort: 4567
    78. name: replication
    79. - containerPort: 4568
    80. name: ist
    81. env:
    82. - name: MYSQL_ROOT_PASSWORD
    83. valueFrom:
    84. secretKeyRef:
    85. name: mysql-secrets
    86. key: root-password
    87. - name: MYSQL_ROOT_USER
    88. valueFrom:
    89. secretKeyRef:
    90. name: mysql-secrets
    91. key: root-user
    92. - name: MYSQL_INITDB_SKIP_TZINFO
    93. value: "yes"
    94. livenessProbe:
    95. exec:
    96. command: ["sh", "-c", "mysql -u\"${MYSQL_ROOT_USER:-root}\" -p\"${MYSQL_ROOT_PASSWORD}\" -e 'show databases;'"]
    97. initialDelaySeconds: 60
    98. timeoutSeconds: 5
    99. readinessProbe:
    100. exec:
    101. command: ["sh", "-c", "mysql -u\"${MYSQL_ROOT_USER:-root}\" -p\"${MYSQL_ROOT_PASSWORD}\" -e 'show databases;'"]
    102. initialDelaySeconds: 20
    103. timeoutSeconds: 5
    104. volumeMounts:
    105. - name: config
    106. mountPath: /etc/mysql/conf.d
    107. - name: data
    108. mountPath: /var/lib/mysql
    109. volumes:
    110. - name: config
    111. configMap:
    112. name: mysql-config-vol
    113. imagePullSecrets:
    114. - name: "registrykey"
    115. volumeClaimTemplates:
    116. - metadata:
    117. name: data
    118. annotations:
    119. volume.beta.kubernetes.io/storage-class: "ceph-web" #引用ceph class 的类
    120. spec:
    121. accessModes: [ "ReadWriteOnce" ]
    122. resources:
    123. requests:
    124. storage: 3Gi

    部署 MySQL 集群

    /etc/mariadb-cluster 目录下执行:

    1. kubectl create -f .

    验证

    存在 issue,参考 Error creating rbd image: executable file not found in $PATH#38923

    问题记录

    如果没有安装 ceph-common 的话,kubernetes 在创建 PVC 的时候会有如下报错信息:

    1. Events:
    2. FirstSeen LastSeen Count From SubObjectPath Type Reason Message
    3. --------- -------- ----- ---- ------------- -------- ------ -------
    4. 1h 12s 441 {persistentvolume-controller } Warning ProvisioningFailed Failed to provision volume with StorageClass "ceph-web": failed to create rbd image: executable file not found in $PATH, command output:

    检查 kube-controller-manager 的日志将看到如下错误信息:

    1. journalctl -xe -u kube-controller-manager
    2. ... rbd_util.go:364] failed to create rbd image, output
    3. ... rbd.go:317] rbd: create volume failed, err: failed to create rbd image: executable file not found in $PATH, command output:

    这是因为 kube-controller-manager 主机上没有安装 ceph-common 的缘故。

    但是安装了 ceph-common 之后依然有问题:

    1. Sep 4 15:25:36 bj-xg-oam-kubernetes-001 kube-controller-manager: W0904 15:25:36.032128 13211 rbd_util.go:364] failed to create rbd image, output
    2. Sep 4 15:25:36 bj-xg-oam-kubernetes-001 kube-controller-manager: W0904 15:25:36.032201 13211 rbd_util.go:364] failed to create rbd image, output
    3. Sep 4 15:25:36 bj-xg-oam-kubernetes-001 kube-controller-manager: W0904 15:25:36.032252 13211 rbd_util.go:364] failed to create rbd image, output
    4. Sep 4 15:25:36 bj-xg-oam-kubernetes-001 kube-controller-manager: E0904 15:25:36.032276 13211 rbd.go:317] rbd: create volume failed, err: failed to create rbd image: fork/exec /usr/bin/rbd: invalid argument, command output:

    该问题尚未解决,参考 Error creating rbd image: executable file not found in $PATH#38923

    从日志记录来看追查到 pkg/volume/rbd/rbd.gofunc (r *rbdVolumeProvisioner) Provision() (*v1.PersistentVolume, error) { 方法对 ceph-class.yaml 中的参数进行了验证和处理后调用了 pkg/volume/rbd/rdb_utils.go 文件第 344 行 CreateImage 方法(kubernetes v1.6.1版本):

    1. func (util *RBDUtil) CreateImage(p *rbdVolumeProvisioner) (r *v1.RBDVolumeSource, size int, err error) {
    2. var output []byte
    3. capacity := p.options.PVC.Spec.Resources.Requests[v1.ResourceName(v1.ResourceStorage)]
    4. volSizeBytes := capacity.Value()
    5. // convert to MB that rbd defaults on
    6. sz := int(volume.RoundUpSize(volSizeBytes, 1024*1024))
    7. volSz := fmt.Sprintf("%d", sz)
    8. // rbd create
    9. l := len(p.rbdMounter.Mon)
    10. // pick a mon randomly
    11. start := rand.Int() % l
    12. // iterate all monitors until create succeeds.
    13. for i := start; i < start+l; i++ {
    14. mon := p.Mon[i%l]
    15. glog.V(4).Infof("rbd: create %s size %s using mon %s, pool %s id %s key %s", p.rbdMounter.Image, volSz, mon, p.rbdMounter.Pool, p.rbdMounter.adminId, p.rbdMounter.adminSecret)
    16. output, err = p.rbdMounter.plugin.execCommand("rbd",
    17. []string{"create", p.rbdMounter.Image, "--size", volSz, "--pool", p.rbdMounter.Pool, "--id", p.rbdMounter.adminId, "-m", mon, "--key=" + p.rbdMounter.adminSecret, "--image-format", "1"})
    18. if err == nil {
    19. break
    20. } else {
    21. glog.Warningf("failed to create rbd image, output %v", string(output))
    22. }
    23. }
    24. if err != nil {
    25. return nil, 0, fmt.Errorf("failed to create rbd image: %v, command output: %s", err, string(output))
    26. }
    27. return &v1.RBDVolumeSource{
    28. CephMonitors: p.rbdMounter.Mon,
    29. RBDImage: p.rbdMounter.Image,
    30. RBDPool: p.rbdMounter.Pool,
    31. }, sz, nil
    32. }

    该方法调用失败。

    参考

    https://github.com/kubernetes/examples/blob/master/staging/volumes/cephfs/README.md

    k8s-ceph-statefulsets-storageclass-nfs 动态卷有状态应用实践

    Kubernetes persistent storage with Ceph

    https://kubernetes.io/docs/concepts/storage/persistent-volumes/#ceph-rbd

    Error creating rbd image: executable file not found in $PATH#38923