k8sクラスターとcephクラスターの接続デプロイガイド

タスク目標#

k8s クラスターと ceph クラスターの接続を完了する

タスクプラットフォーム#

物理デバイス --
オペレーティングシステム：openEuler 22.03 LTS SP2

デプロイガイド#

動的に ceph RBD ストレージをマウントする

タスク 1：ceph クライアント（ceph-common）のインストール#

k8s クラスターの各ノードに ceph-common をインストールする

yum install ceph-common -y

タスク 2：ceph クラスターの設定ファイルを同期#

ceph クラスターの /etc/ceph/{ceph.conf,ceph.client.admin.keyring} ファイルを k8s のすべてのノードに同期する

# sshのパスワードなし設定
ssh-keygen -t rsa
ssh-copy-id 10.10.3.121
ssh-copy-id 10.10.3.122
ssh-copy-id 10.10.3.123
ssh-copy-id 10.10.3.124

# ファイルをコピー
scp -r /etc/ceph/{ceph.conf,ceph.client.admin.keyring} 10.10.3.121:/etc/ceph
scp -r /etc/ceph/{ceph.conf,ceph.client.admin.keyring} 10.10.3.122:/etc/ceph
scp -r /etc/ceph/{ceph.conf,ceph.client.admin.keyring} 10.10.3.123:/etc/ceph
scp -r /etc/ceph/{ceph.conf,ceph.client.admin.keyring} 10.10.3.124:/etc/ceph

タスク 3：ceph-csi のデプロイ（rbd を使用）#

ceph-csi コンポーネントをダウンロードする

# ファイルをダウンロード
wget https://github.com/ceph/ceph-csi/archive/refs/tags/v3.9.0.tar.gz
# 解凍
mv v3.9.0.tar.gz ceph-csi-v3.9.0.tar.gz
tar -xzf ceph-csi-v3.9.0.tar.gz
# ディレクトリに移動
cd  ceph-csi-3.9.0/deploy/rbd/kubernetes
mkdir /data/cephfs/csi
# csiに6つのファイルをコピー
cp * /data/cephfs

csi コンポーネントに必要なイメージをプルする

# 必要なイメージを確認
grep image csi-rbdplugin-provisioner.yaml
grep image csi-rbdplugin.yaml

すべての k8s ノードで必要なイメージをプルする

./pull-images.sh registry.k8s.io/sig-storage/csi-provisioner:v3.5.0
./pull-images.sh registry.k8s.io/sig-storage/csi-resizer:v1.8.0
./pull-images.sh registry.k8s.io/sig-storage/csi-snapshotter:v6.2.2
docker pull quay.io/cephcsi/cephcsi:v3.9.0
./pull-images.sh registry.k8s.io/sig-storage/csi-attacher:v4.3.0
./pull-images.sh registry.k8s.io/sig-storage/csi-node-driver-registrar:v2.8.0

名前空間cephfsを作成する

echo '
apiVersion: v1
kind: Namespace
metadata:
  labels:
    kubernetes.io/metadata.name: cephfs
  name: cephfs
  ' > ceph-namespace.yaml
  
 # 実行
  kubectl apply -f ceph-namespace.yaml

ceph クラスターに接続するための秘密鍵ファイル csi-rbd-secret.yaml を作成する

echo '
apiVersion: v1
kind: Secret
metadata:
  name: csi-rbd-secret
  namespace: cephfs
stringData:
  adminID: admin  # 管理者名
  adminKey: AQCNNDZlPKI5KxAA/3gXnOmhHgyLU2qPzTaZ3A==   # cephクラスターの鍵
  userID: admin   # ユーザー名 
  userKey: AQCNNDZlPKI5KxAA/3gXnOmhHgyLU2qPzTaZ3A==  # cephクラスターの鍵
  ' > csi-rbd-secret.yaml
  
   # 実行
    kubectl apply -f csi-rbd-secret.yaml

ceph-config-map.yaml を作成する

echo '
apiVersion: v1
kind: ConfigMap
data:
  ceph.conf: |
     [global]
     fsid = 79fd2206-39ca-4ec4-9cd2-96e065c6361e     # 生成されたFSID
     mon initial members =future-ceph-node0,future-ceph-node1,future-ceph-node2,future-ceph-node3            # ホスト名
     mon host = 10.10.3.117,10.10.3.118,10.10.3.119,10.10.3.120                       # 対応するIP
     public network = 10.10.3.0/24
     auth cluster required = cephx
     auth service required = cephx
     auth client required = cephx
     osd journal size = 1024
     osd pool default size = 3
     osd pool default min size = 2
     osd pool default pg num = 333
     osd pool default pgp num = 333
     osd crush chooseleaf type = 1
     [mon]
     mon allow pool delete = true

     [mds.future-ceph-node0]
     host = future-ceph-node0
  keyring: |
metadata:
  name: ceph-config
  namespace: cephfs
' > ceph-config-map.yaml

 # 実行
 kubectl apply -f ceph-config-map.yaml

csi-config-map.yaml を変更し、ceph クラスターに接続する情報を設定する

echo '
apiVersion: v1
kind: ConfigMap
metadata:
  name: ceph-csi-config
  namespace: cephfs
  labels:
    addonmanager.kubernetes.io/mode: Reconcile
data:
  config.json: |-
    [{"clusterID":"79fd2206-39ca-4ec4-9cd2-96e065c6361e","monitors":["10.10.3.117:6789","10.10.3.118:6789","10.10.3.119:6789","10.10.3.120:6789"]}]
' > csi-config-map.yaml

csi コンポーネントの設定ファイルを変更する
1. /data/cephfs/csiディレクトリ内のすべての yaml ファイルの名前空間をdefaultからcephfsに変更する
```
  cd /data/cephfs/csi
  sed -i "s/namespace: default/namespace: cephfs/g" $(grep -rl "namespace: default" ./)
  sed -i '/^kind: ServiceAccount/a\  namespace: cephfs' $(grep -rl "^kind: ServiceAccount" ./)
```
csi-rbdplugin-provisioner.yamlとcsi-rbdplugin.yamlの kms 部分の設定をコメントアウトする

# - name: KMS_CONFIGMAP_NAME

# value: encryptionConfig

#- name: ceph-csi-encryption-kms-config

# configMap:

# name: ceph-csi-encryption-kms-config

 # 実行し、csiコンポーネントをインストール
 kubectl apply -f csi-config-map.yaml
 kubectl apply -f csi-nodeplugin-rbac.yaml
 kubectl apply -f csidriver.yaml
 kubectl apply -f csi-provisioner-rbac.yaml
 kubectl apply -f csi-rbdplugin-provisioner.yaml
 kubectl apply -f csi-rbdplugin.yaml

タスク 4：storageclass を作成する#

echo '
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  annotations:
    k8s.kuboard.cn/storageType: cephfs_provisioner
  name: csi-rbd-sc
provisioner: rbd.csi.ceph.com
parameters:
 # fsName: cephfs # cephクラスターのcephfsファイルシステム名
  clusterID: 79fd2206-39ca-4ec4-9cd2-96e065c6361e # cephクラスターのfsid 
  pool: rbd-k8s # cephで作成したストレージプール
  imageFeatures: layering
  csi.storage.k8s.io/provisioner-secret-name: csi-rbd-secret
  csi.storage.k8s.io/provisioner-secret-namespace: cephfs
  csi.storage.k8s.io/controller-expand-secret-name: csi-rbd-secret
  csi.storage.k8s.io/controller-expand-secret-namespace: cephfs
  csi.storage.k8s.io/node-stage-secret-name: csi-rbd-secret
  csi.storage.k8s.io/node-stage-secret-namespace: cephfs
  csi.storage.k8s.io/fstype: xfs
reclaimPolicy: Delete
volumeBindingMode: Immediate
#allowVolumeExpansion: true
#mountOptions:
 # - discard
 ' > storageclass.yaml
 
 # 実行
  kubectl apply -f storageclass.yaml

タスク 5：PVC を作成する#

echo '
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: rbd-pvc # PVCの名前
  namespace: cephfs
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Gi  # 容量を設定
  storageClassName: csi-rbd-sc
  ' > pvc.yaml
  
# 実行
 kubectl apply -f pvc.yaml
# PVCが作成されたか確認
kubectl get pvc -n cephfs
# PVが作成されたか確認
kubectl get pv -n cephfs

# cephクラスターのcephfs_dataストレージプールにimageが作成されたか確認
 rbd ls -p cephfs_data

タスク 6：pod を作成し、テスト検証を行う#

echo '
apiVersion: v1
kind: Pod
metadata:
  name: csi-rbd-demo-pod
  namespace: cephfs
spec:
  containers:
    - name: web-server
      image: nginx:latest
      volumeMounts:
        - name: mypvc
          mountPath: /var/lib/www/html
  volumes:
    - name: mypvc
      persistentVolumeClaim:
        claimName: rbd-pvc  # 対応するPVCの名前
        readOnly: false
' > pod.yaml

# 実行
 kubectl apply -f pod.yaml
 # コンテナに入ってマウント情報を確認
 kubectl exec -it csi-rbd-demo-pod bash
 lsblk -l|grep rbd