k8s集群對接ceph集群部署指南

任務目標#

完成 k8s 集群對接 ceph 集群

任務平台#

實體設備 --
操作系統：openEuler 22.03 LTS SP2

部署指南#

採用動態掛載 ceph RBD 存儲

任務一：安裝 ceph 客戶端（ceph-common）#

在 k8s 集群的每個節點安裝 ceph-common

yum install ceph-common -y

任務二：同步 ceph 集群配置文件#

將 ceph 集群的 /etc/ceph/{ceph.conf,ceph.client.admin.keyring} 文件同步到 k8s 所有節點上

#配置ssh免密
ssh-keygen -t rsa
ssh-copy-id 10.10.3.121
ssh-copy-id 10.10.3.122
ssh-copy-id 10.10.3.123
ssh-copy-id 10.10.3.124

#拷貝文件
scp -r /etc/ceph/{ceph.conf,ceph.client.admin.keyring} 10.10.3.121:/etc/ceph
scp -r /etc/ceph/{ceph.conf,ceph.client.admin.keyring} 10.10.3.122:/etc/ceph
scp -r /etc/ceph/{ceph.conf,ceph.client.admin.keyring} 10.10.3.123:/etc/ceph
scp -r /etc/ceph/{ceph.conf,ceph.client.admin.keyring} 10.10.3.124:/etc/ceph

任務三：部署 ceph-csi（使用 rbd）#

下載 ceph-csi 組件

#下載文件
wget https://github.com/ceph/ceph-csi/archive/refs/tags/v3.9.0.tar.gz
#解壓
mv v3.9.0.tar.gz ceph-csi-v3.9.0.tar.gz
tar -xzf ceph-csi-v3.9.0.tar.gz
#進入目錄
cd  ceph-csi-3.9.0/deploy/rbd/kubernetes
mkdir /data/cephfs/csi
#拷進csi中，共6六個文件
cp * /data/cephfs

拉取 csi 組件所需鏡像

#查看所需鏡像
grep image csi-rbdplugin-provisioner.yaml
grep image csi-rbdplugin.yaml

在所有 k8s 節點上拉取所需的鏡像

./pull-images.sh registry.k8s.io/sig-storage/csi-provisioner:v3.5.0
./pull-images.sh registry.k8s.io/sig-storage/csi-resizer:v1.8.0
./pull-images.sh registry.k8s.io/sig-storage/csi-snapshotter:v6.2.2
docker pull quay.io/cephcsi/cephcsi:v3.9.0
./pull-images.sh registry.k8s.io/sig-storage/csi-attacher:v4.3.0
./pull-images.sh registry.k8s.io/sig-storage/csi-node-driver-registrar:v2.8.0

創建命名空間cephfs

echo '
apiVersion: v1
kind: Namespace
metadata:
  labels:
    kubernetes.io/metadata.name: cephfs
  name: cephfs
  ' > ceph-namespace.yaml
  
 #執行
  kubectl apply -f ceph-namespace.yaml

創建連接 ceph 集群的秘鑰文件 csi-rbd-secret.yaml

echo '
apiVersion: v1
kind: Secret
metadata:
  name: csi-rbd-secret
  namespace: cephfs
stringData:
  adminID: admin  #管理員名稱
  adminKey: AQCNNDZlPKI5KxAA/3gXnOmhHgyLU2qPzTaZ3A==   #ceph集群密鑰
  userID: admin   #用戶名稱 
  userKey: AQCNNDZlPKI5KxAA/3gXnOmhHgyLU2qPzTaZ3A==  #ceph集群密鑰
  ' > csi-rbd-secret.yaml
  
   #執行
    kubectl apply -f csi-rbd-secret.yaml

創建 ceph-config-map.yaml

echo '
apiVersion: v1
kind: ConfigMap
data:
  ceph.conf: |
     [global]
     fsid = 79fd2206-39ca-4ec4-9cd2-96e065c6361e     # 生成的FSID
     mon initial members =future-ceph-node0,future-ceph-node1,future-ceph-node2,future-ceph-node3            # 主機名
     mon host = 10.10.3.117,10.10.3.118,10.10.3.119,10.10.3.120                       # 對應的IP
     public network = 10.10.3.0/24
     auth cluster required = cephx
     auth service required = cephx
     auth client required = cephx
     osd journal size = 1024
     osd pool default size = 3
     osd pool default min size = 2
     osd pool default pg num = 333
     osd pool default pgp num = 333
     osd crush chooseleaf type = 1
     [mon]
     mon allow pool delete = true

     [mds.future-ceph-node0]
     host = future-ceph-node0
  keyring: |
metadata:
  name: ceph-config
  namespace: cephfs
' > ceph-config-map.yaml

 #執行
 kubectl apply -f ceph-config-map.yaml

修改 csi-config-map.yaml，配置連接 ceph 集群的信息

echo '
apiVersion: v1
kind: ConfigMap
metadata:
  name: ceph-csi-config
  namespace: cephfs
  labels:
    addonmanager.kubernetes.io/mode: Reconcile
data:
  config.json: |-
    [{"clusterID":"79fd2206-39ca-4ec4-9cd2-96e065c6361e","monitors":["10.10.3.117:6789","10.10.3.118:6789","10.10.3.119:6789","10.10.3.120:6789"]}]
' > csi-config-map.yaml

修改 csi 組件配置文件
1. 拷貝進/data/cephfs/csi目錄中的所有 yaml 文件中的命名空間由default改為cephfs
```
  cd /data/cephfs/csi
  sed -i "s/namespace: default/namespace: cephfs/g" $(grep -rl "namespace: default" ./)
  sed -i '/^kind: ServiceAccount/a\  namespace: cephfs' $(grep -rl "^kind: ServiceAccount" ./)
```
將csi-rbdplugin-provisioner.yaml 和 csi-rbdplugin.yaml 中的 kms 部分配置註釋掉

# - name: KMS_CONFIGMAP_NAME

# value: encryptionConfig

#- name: ceph-csi-encryption-kms-config

# configMap:

# name: ceph-csi-encryption-kms-config

 #執行，安裝csi組件
 kubectl apply -f csi-config-map.yaml
 kubectl apply -f csi-nodeplugin-rbac.yaml
 kubectl apply -f csidriver.yaml
 kubectl apply -f csi-provisioner-rbac.yaml
 kubectl apply -f csi-rbdplugin-provisioner.yaml
 kubectl apply -f csi-rbdplugin.yaml

任務四：創建 storageclass#

echo '
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  annotations:
    k8s.kuboard.cn/storageType: cephfs_provisioner
  name: csi-rbd-sc
provisioner: rbd.csi.ceph.com
parameters:
 # fsName: cephfs #ceph集群cephfs文件系統名稱
  clusterID: 79fd2206-39ca-4ec4-9cd2-96e065c6361e #ceph集群的fsid 
  pool: rbd-k8s #ceph中創建的存儲池
  imageFeatures: layering
  csi.storage.k8s.io/provisioner-secret-name: csi-rbd-secret
  csi.storage.k8s.io/provisioner-secret-namespace: cephfs
  csi.storage.k8s.io/controller-expand-secret-name: csi-rbd-secret
  csi.storage.k8s.io/controller-expand-secret-namespace: cephfs
  csi.storage.k8s.io/node-stage-secret-name: csi-rbd-secret
  csi.storage.k8s.io/node-stage-secret-namespace: cephfs
  csi.storage.k8s.io/fstype: xfs
reclaimPolicy: Delete
volumeBindingMode: Immediate
#allowVolumeExpansion: true
#mountOptions:
 # - discard
 ' > storageclass.yaml
 
 #執行
  kubectl apply -f storageclass.yaml

任務五：創建 PVC#

echo '
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: rbd-pvc #PVC的名稱
  namespace: cephfs
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi  #設置容量
  storageClassName: csi-rbd-sc
  ' > pvc.yaml
  
#執行
 kubectl apply -f pvc.yaml
#查看PVC是否創建成功
kubectl get pvc -n cephfs
#查看PV是否創建成功
kubectl get pv -n cephfs

#查看ceph集群中的cephfs_data存儲池中是否創建了image
 rbd ls -p cephfs_data

任務六：創建 pod，進行測試驗證#

echo '
apiVersion: v1
kind: Pod
metadata:
  name: csi-rbd-demo-pod
  namespace: cephfs
spec:
  containers:
    - name: web-server
      image: nginx:latest
      volumeMounts:
        - name: mypvc
          mountPath: /var/lib/www/html
  volumes:
    - name: mypvc
      persistentVolumeClaim:
        claimName: rbd-pvc  #對應的PVC名稱
        readOnly: false
' > pod.yaml

#執行
 kubectl apply -f pod.yaml
 #進入容器查看掛載信息
 kubectl exec -it csi-rbd-demo-pod bash
 lsblk -l|grep rbd