k8sの知識整理--上級

ネットワーク#

Kubernetes - ネットワークモデルの原則

ネットワークアドレス変換 (NAT) を使用せずに、クラスター内の Pod は任意の他の Pod と通信できる

ネットワークアドレス変換 (NAT) を使用せずに、クラスターのノード上で実行されているプログラムは同じノード上の任意の Pod と通信できる

各 Pod には独自の IP アドレス (IP-per-Pod) があり、任意の他の Pod は同じアドレスを介してアクセスできる

CNI 標準を利用して、Kubernetes はコンテナネットワークの問題を解決できる。プラグイン方式でさまざまなネットワークプラグインを統合し、クラスター内のネットワークが相互に通信できるようにする。CNI 標準で定義されたコアインターフェースの操作 (ADD、コンテナをネットワークに追加；DEL、ネットワークからコンテナを削除；CHECK、コンテナのネットワークが期待通りか確認など) を実装する限り。CNI プラグインは通常、コンテナ間のネットワーク通信に焦点を当てている。

CNI のインターフェースは HTTP や gRPC のようなインターフェースを指すのではなく、CNI インターフェースは実行可能プログラムの呼び出し (exec) を指す。Kubernetes ノードのデフォルトの CNI プラグインパスは /opt/cni/bin である。

CNI は JSON 形式の設定ファイルを使用してネットワーク構成を記述する。コンテナネットワークを設定する必要がある場合、コンテナランタイムが CNI プラグインを実行し、CNI プラグインの標準入力 (stdin) を介して設定ファイル情報を渡し、標準出力 (stdout) を介してプラグインの実行結果を受け取る。ネットワークプラグインの機能は 5 つのカテゴリに分けられる：

Main プラグイン：具体的なネットワークデバイスを作成する (bridge: ブリッジデバイス、コンテナとホストを接続；ipvlan: コンテナに ipvlan ネットワークインターフェースを追加；loopbackデバイス；macvlan: コンテナに MAC アドレスを作成；ptp: 一対の VethPair を作成；vlanデバイスを割り当て；host-device: 既存のデバイスをコンテナ内に移動)
IPAM プラグイン：IP アドレスを割り当てる (dhcp: コンテナが DHCP サーバーにリクエストを送信し、Pod に IP アドレスを割り当てまたは回収；host-local: 事前に設定された IP アドレス範囲を使用して割り当て；static: コンテナに静的 IPv4/IPv6 アドレスを割り当て、主にデバッグ用)
META プラグイン：その他の機能のプラグイン (tuningを使用してネットワークデバイスのパラメータを調整；portmapを使用してポートマッピングを設定；bandwidth Bucket Filter を使用して帯域制限；sbr: ネットワークインターフェースにソースベースのルーティングを設定；firewallを使用してコンテナネットワークの出入りのトラフィックを制限)
Windows プラグイン：Windows プラットフォーム専用の CNI プラグイン (win-bridge および win-overlay ネットワークプラグイン)
サードパーティのネットワークプラグイン：多くのサードパーティのオープンソースネットワークプラグインがあり、各コンポーネントにはそれぞれの利点と適応するシーンがあり、統一された標準コンポーネントを形成するのは難しい。一般的に使用されるものには Flannel、Calico、Cilium、OVN ネットワークプラグインがある。

プロバイダー	ネットワークモデル	ルーティング配布	ネットワークポリシー	メッシュ	外部データストレージ	暗号化	Ingress/Egress ポリシー
Canal	カプセル化（VXLAN）	いいえ	はい	いいえ	k8s API	はい	はい
Flannel	カプセル化（VXLAN）	いいえ	いいえ	いいえ	k8s API	はい	いいえ
Calico	カプセル化（VXLAN、IPIP）または未カプセル化	はい	はい	はい	Etcd および k8s API	はい	はい
Weave	カプセル化	はい	はい	はい	いいえ	はい	はい
Cilium	カプセル化（VXLAN）	はい	はい	はい	Etcd および k8s API	はい	はい

ネットワークモデル：カプセル化または未カプセル化。

ルーティング配布：インターネット上でルーティングと到達可能性情報を交換するための外部ゲートウェイプロトコル。BGP はクラスター間の Pod 間のネットワークを支援することができる。この機能は未カプセル化の CNI ネットワークプラグインにとって必須であり、通常は BGP によって実行される。ネットワークセグメントを跨ぐクラスターを構築したい場合、ルーティング配布は良い機能である。

ネットワークポリシー：Kubernetes は、どのサービスがネットワークポリシーを使用して相互に通信できるかを決定するルールを強制する機能を提供している。これは Kubernetes1.7 以降の安定した機能であり、一部のネットワークプラグインと共に使用できる。

メッシュ：異なる Kubernetes クラスター間でサービス間のネットワーク通信を可能にする。

外部データストレージ：この機能を持つ CNI ネットワークプラグインは、データを保存するために外部データストレージを必要とする。

暗号化：暗号化と安全なネットワーク制御およびデータプレーンを許可する。

Ingress/Egress ポリシー：Kubernetes と非 Kubernetes 通信のルーティング制御を管理できるようにする。

Calico は純粋なレイヤー 3 の仮想ネットワークであり、docker の docker0 ブリッジを再利用せず、独自に実装されている。Calico ネットワークはデータパケットに追加のカプセル化を行わず、NAT やポートマッピングを必要としない。

Calico アーキテクチャ：

Felix

ネットワークインターフェースを管理し、ルーティングを作成
ACL を作成
状態を報告

bird (BGP クライアント)

BGP クライアントは BGP プロトコルを介して残りの Calico ノードにブロードキャストし、ネットワークの相互接続を実現する。

confd

etcd をリッスンして BGP 構成とグローバルデフォルト値の変更を把握する。Confd は ETCD のデータ更新に基づいて動的に BRD 構成ファイルを生成し、変更時に confd が BRD の再読み込みをトリガーする。

Calico ネットワークモード --VXLAN：

VXLAN とは何ですか？

VXLAN、すなわち Virtual Extensible LAN（仮想拡張可能 LAN）は、Linux 自体がサポートするネットワーク仮想化技術の一つです。VXLAN はカーネルモードでカプセル化とデカプセル化の作業を完全に実行でき、「トンネル」メカニズムを介してオーバーレイネットワークを構築します。

レイヤー 3 に基づく「レイヤー 2」通信で、レイヤー 2 は vxlan パケットが udp データパケットにカプセル化され、udp が k8s ノード間でレイヤー 3 で到達可能であることを要求します。レイヤー 2 は vxlan パケットのソース MAC アドレスと宛先 MAC アドレスがそれぞれの vxlan デバイスの MAC と対向の vxlan デバイスの MAC で通信を実現します。

データパケットのカプセル化：カプセル化は、vxlan デバイス上で Pod から送信されたデータパケットのソース、宛先 MAC をローカルの vxlan ネットワークインターフェースと対向ノードの vxlan ネットワークインターフェースの MAC に置き換えます。外側の udp 宛先 IP アドレスはルーティングと対向の vxlan の MAC fdb テーブルから取得されます。

利点：k8s ノード間でレイヤー 3 が相互接続されていれば、ネットワークセグメントを跨ぐことができ、ホストのゲートウェイルーティングに特別な要件はありません。各ノードは vxlan デバイスを介してレイヤー 3 に基づく「レイヤー 2」の相互接続を実現し、レイヤー 3 は vxlan パケットが udp データパケットにカプセル化され、udp が k8s ノード間でレイヤー 3 で到達可能であることを要求します。レイヤー 2 は vxlan パケットのソース MAC アドレスと宛先 MAC アドレスがそれぞれの vxlan デバイスの MAC と対向の vxlan デバイスの MAC で通信を実現します。

欠点：vxlan のデータパケットのカプセル化とデカプセル化には一定の性能損失がある。

Calico の VXLAN を有効にする設定

#Enable IPIP
-name:CALICO IPV4POOL IPIP
-value:"Never"
#Enable or Disable VXLAN on the default IP pool.
-name:CALICO IPV4POOL VXLAN
-value:"Always"
#Enable or Disable VXLAN on the default IPv6 IP pool.
-name:CALICO IPV6POOL VXLAN
-value:"Always"

#calico_backend:"bird"
calico_backend:"vxlan"

#注釈：生存探知と準備探知を無効にする
#--bird-live
#--bird-ready

Calico ネットワークモード --IPIP：

Linux ネイティブカーネルのサポート

IPIP トンネルの動作原理は、ソースホストの IP データパケットを新しい P データパケットにカプセル化し、新しい IP データパケットの宛先アドレスはトンネルの反対側です。トンネルの反対側では、受信者が元の IP データパケットをデカプセル化し、ターゲットホストに渡します。IPIP トンネルは、IPV4 ネットワークと IPV6 ネットワークの間など、異なるネットワーク間で接続を確立できます。

データパケットのカプセル化：カプセル化は、tunl0 デバイス上で Pod から送信されたデータパケットの MAC 層を削除し、IP 層のカプセル化を残します。
外側のデータパケットの宛先 IP アドレスはルーティングによって取得されます。
利点：k8s ノード間でレイヤー 3 が相互接続されていれば、ネットワークセグメントを跨ぐことができ、ホストのゲートウェイルーティングに特別な要件はありません。
欠点：IPIP のデータパケットのカプセル化とデカプセル化には一定の性能損失がある。

Calico の IPIP を有効にする設定

#Enable IPIP
-name:CALICO IPV4POOL IPIP
-value:"Always"
#Enable or Disable VXLAN on the default IP pool.
-name:CALICO IPV4POOL VXLAN
-value:"Never"
#Enable or Disable VXLAN on the default IPv6 IP pool.
-name:CALICO IPV6POOL VXLAN
-value:"Never"

Calico ネットワークモード --BGP：

ボーダーゲートウェイプロトコル (Border Gateway Protocol, BGP) は、インターネット上のコアの分散型自律ルーティングプロトコルです。IP ルーティングテーブルまたは「プレフィックス」テーブルを維持することによって、自律システム (AS) 間の到達可能性を実現します。BGP は従来の内部ゲートウェイプロトコル (IGP) のメトリックを使用せず、パス、ネットワークポリシー、またはルールセットに基づいてルーティングを決定します。したがって、ルーティングプロトコルではなく、ベクトルプロトコルと呼ばれるのがより適切です。BGP は、データセンターに接続される複数の回線（例えば、電信、通信、移動など）を統合し、複数の回線で単一の IP を実現します。BGP データセンターの利点は、サーバーが単一の IP アドレスを設定するだけで、最適なアクセスルートはネットワーク上のバックボーンルーターによってルーティングホップ数や他の技術的指標に基づいて決定され、サーバーのシステムを占有しないことです。

データパケットのカプセル化：データパケットのカプセル化は必要ありません。

利点：カプセル化とデカプセル化が不要で、BGP プロトコルを介して Pod ネットワークがホスト間でレイヤー 3 で到達可能になります。

欠点：ネットワークセグメントを跨ぐ場合、設定が複雑でネットワーク要件が高く、ホストのゲートウェイルーティングも BGP スピーカーとして機能する必要があります。

Calico の BGP を有効にする設定

#Enable IPIP
-name:CALICO IPV4POOL IPIP
-value:"Off"
#Enable or Disable VXLAN on the default IP pool.
-name:CALICO IPV4POOL VXLAN
-value:"Never"
#Enable or Disable VXLAN on the default IPv6 IP pool.
-name:CALICO IPV6POOL VXLAN
-value:"Never"

サービス#

Kubernetes クラスター内の各ノードは、kube-proxyプロセスを実行しています。kube-proxyはサービスの VIP (仮想 IP) 形式を実現します。

Kubernetes v1.0 バージョンでは、プロキシは完全にユーザースペースにあります。Kubernetes v1.1 バージョンでは、iptables プロキシが追加されましたが、デフォルトの実行モードではありません。Kubernetes v1.2 以降、デフォルトは iptables プロキシです。Kubernetes v1.8.0-beta.0 では、ipvs プロキシが追加されました。

ユーザースペース

kube-proxy：

APISERVER をリッスンし、サービスの変更をローカルの iptables ルールに反映させる
現在のノードの Pod ユーザーリクエストをプロキシする

Iptables

kube-proxy：

APISERVER をリッスンし、サービスの変更をローカルの iptables ルールに反映させる

ユーザースペース方式に比べて、kube-proxy の機能はデカップリングされており、負荷が少ない。

ipvs

kube-proxy：

APISERVER をリッスンし、サービスの変更をローカルの ipvs ルールに反映させる

シークレット#

Kubernetes は、シークレットにアクセスする必要がある Pod が存在するノードにのみシークレットを配布することで、そのセキュリティを確保します。シークレットはノードのメモリにのみ保存され、物理ストレージには書き込まれないため、ノードからシークレットを削除する際にディスクデータを消去する必要がありません。

Kubernetes1.7 バージョン以降、etcd はシークレットを暗号化形式で保存し、ある程度シークレットの安全性を保証します。

シークレットの種類：

ダウンワード API#

ダウンワード API は Kubernetes の機能で、コンテナが実行時に Kubernetes API サーバーから自身に関する情報を取得できるようにします。これらの情報は、コンテナ内部の環境変数やファイルとしてコンテナに注入され、コンテナは Pod 名、名前空間、ラベルなどの実行環境に関するさまざまな情報を取得できます。

コンテナメタデータを提供
動的構成
Kubernetes 環境との統合

HELM#

Helm は公式に提供される YUM に似たパッケージマネージャーで、デプロイ環境のプロセスをカプセル化します。Helm には 2 つの重要な概念があります：チャートとリリース

チャート：アプリケーションを作成するための情報の集合で、さまざまな Kubernetes オブジェクトの構成テンプレート、パラメータ定義、依存関係、ドキュメント説明などが含まれます。チャートはアプリケーションデプロイの自己完結型論理ユニットです。チャートは apt や yum のソフトウェアインストールパッケージのように考えることができます。
リリース：チャートの実行インスタンスで、実行中のアプリケーションを表します。チャートが Kubernetes クラスターにインストールされると、リリースが生成されます。チャートは同じクラスターに複数回インストールでき、各インストールは 1 つのリリースです。
Helm CLI：helm クライアントコンポーネントで、Kubernetes API サーバーと通信します。
リポジトリ：チャートを公開および保存するためのリポジトリです。

ダウンロードとインストール#

Helm をダウンロード

wget https://get.helm.sh/helm-v3.18.4-linux-amd64.tar.gz
tar -zxvf helm-v3.18.4-linux-amd64.tar.gz
cp -a linux-amd64/helm /usr/local/bin/
chmod a+x /usr/local/bin/helm
helm version

チャートリポジトリの国内ソースを追加

helm repo add bitnami https://helm-charts.itboon.top/bitnami --force-update
helm repo update
#リポジトリの内容を検索
helm search repo bitnami

チャートのインストール例#

#apacheパッケージの構成を確認
helm show values bitnami/apache
#apacheをインストール
helm install bitnami/apache --generate-name
#確認
helm list -n default
kubectl get svc
kubectl get pod

#チャートの基本情報を確認
helm show chart bitnami/apache
#チャートのすべての情報を確認
helm show all bitnami/apache

#バージョンを削除
helm uninstall apache-1753181984
#履歴バージョンを保持
helm uninstall apache-1753181984 --keep-history

#このバージョンの情報を確認
helm status apache-1753182488

拡張

#現在のリポジトリでwordpressのチャートパッケージを検索
helm search repo wordpress
#公式リポジトリでwordpressのチャートパッケージを検索
helm search hub wordpress

#apacheをインストールし、名前をapache-1753234488に指定
helm install apache-1753234488 bitnami/apache

カスタムチャートをインストール

#apacheパッケージの構成を確認
helm show values bitnami/apache

#yamlファイルを作成し、変更するパラメータを追加
vi apache.yml
service:
  type: NodePort

#構成パラメータを上書きし、apacheをインストール
helm install -f apache.yml bitnami/apache --generate-name

yaml ファイルの上書きの他に、--set:を使用してコマンドラインで指定項目を上書きすることもできます。両方の方法を同時に使用する場合、--setの値は--valuesにマージされますが、--setの値が優先され、--setで上書きされた内容は ConfigMap に保存されます。指定されたリリースの--setで設定された値を確認するには、helm get values <release-name>を実行します。また、helm upgradeを実行し、--reset-valuesフィールドを指定して--setで設定された値をクリアすることもできます。

--setの形式と制限

--setオプションは 0 個以上の name/value ペアを使用します。最も簡単な使い方は、--set name=valueのように、以下の YAML 形式と等価です：

name:value

複数の値はカンマで区切るため、--set a=b,c=dの YAML 表現は：

a: b
c: d

より複雑な式もサポートされています。例えば、--set outer.inner=valueは次のように変換されます：

outer:
  inner: value

リストは波括弧 ({}) を使用して表現され、例えば、--set name={a,b,c}は次のように変換されます：

name:
  - a
  - b
  - c

特定の name/key は null または空の配列に設定できます。例えば、--set name=[],a=nullは次のように変換されます：

name: []
a: null

アップグレードとロールバック#

helm upgradeは最小限の侵襲的なアップグレードを実行し、前回のリリース以来変更された内容のみを更新します。

#helm upgrade -f yamlファイル バージョン名 チャートパッケージ
helm upgrade -f apache.yml apache-1753183272 bitnami/apache

バージョンのロールバック

#存在するバージョンを確認
#helm history バージョン名
helm history apache-1753183272
#ロールバックを実行
#helm rollback バージョン名 バージョン番号
helm rollback apache-1753183272 1

カスタムチャートパッケージの作成#

#チャートパッケージを作成
helm create test
#不要なファイルを削除
#templates内にyamlリソースマニフェストを作成
vi nodePort.yaml
############################
apiVersion: v1
kind: Service
metadata:
  name: myapp-test-202401110926-svc
  labels:
    app: myapp-test
spec:
  type: NodePort
  selector:
    app: myapp-test
  ports:
    - name: "80-80"
      protocol: TCP
      port: 80
      targetPort: 80
      nodePort: 31111
############################
vi deplyment.yaml
############################
apiVersion: apps/v1
kind: Deployment
metadata:
  name: myapp-test-202401110926-deploy
  labels:
    app: myapp-test
spec:
  replicas: 5
  selector:
    matchLabels:
      app: myapp-test
  template:
    metadata:
      labels:
        app: myapp-test
    spec:
      containers:
        - name: myapp
          image: wangyanglinux/myapp:v1.0
############################
#リリースをデプロイ
helm install test test/

完全な例

vi templates/NOTES.txt
############################
1. これはテストのmyappチャートです
2. myappリリース名：myapp-test-{{ now | date "20060102030405" }}-deploy
3. サービス名：myapp-test-{{ now | date "20060102030405" }}-svc
############################
vi templates/deplyment.yaml
############################
apiVersion: apps/v1
kind: Deployment
metadata:
  name: myapp-test-{{ now | date "20060102030405" }}-deploy
  labels:
    app: myapp-test
spec:
  replicas: {{ .Values.replicaCount }}
  selector:
    matchLabels:
      app: myapp-test
  template:
    metadata:
      labels:
        app: myapp-test
    spec:
      containers:
        - name: myapp
          image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}"

############################
vi templates/service.yaml
############################
apiVersion: v1
kind: Service
metadata:
  name: myapp-test-{{ now | date "20060102030405" }}-svc
  labels:
    app: myapp-test
spec:
  type: {{ .Values.service.type | quote }}
  selector:
    app: myapp-test
  ports:
    - name: "80-80"
      protocol: TCP
      port: 80
      targetPort: 80
      {{- if eq .Values.service.type "NodePort" }}
      nodePort: {{ .Values.service.nodePort }}
      {{- end }}
############################
#templatesディレクトリと同じレベルで
vi values.yaml
############################
replicaCount: 5
image:
  repository: wangyanglinux/myapp
  tag: "v1.0"  

service:
  type: NodePort
  nodePort: 32321  
############################

バイナリ高可用 Kubernetes クラスターのデプロイ#

前書き#

5 台のサーバーを使用して、バイナリ方式で三主二従の高可用 Kubernetes クラスターをデプロイします。

クラスターアーキテクチャ#

（1）基盤環境

オペレーティングシステム：Rocky Linux release 10.0

ソフトウェア：Kubernetes-1.33.4、docker-28.3.3

（2）環境準備

ホスト名	IP	クラスターおよびコンポーネントの役割
k8s-master01	192.168.0.111	master、api-server、control manager、scheduler、etcd、 kubelet、kube-proxy、nginx
k8s-master02	192.168.0.112	master、api-server、control manager、scheduler、etcd、 kubelet、kube-proxy、nginx
k8s-master03	192.168.0.113	master、api-server、control manager、scheduler、etcd、 kubelet、kube-proxy、nginx
k8s-node01	192.168.0.114	worker、kubelet、kube-proxy、nginx
k8s-node02	192.168.0.115	worker、kubelet、kube-proxy、nginx

環境初期化#

（1）システムソフトウェアソースを変更し、依存ソフトウェアをダウンロード

sed -e 's|^mirrorlist=|#mirrorlist=|g' \
    -e 's|^#baseurl=http://dl.rockylinux.org/$contentdir|baseurl=https://mirrors.aliyun.com/rockylinux|g' \
    -i.bak \
    /etc/yum.repos.d/[Rr]ocky*.repo

dnf makecache
#依存ソフトウェアをダウンロード
yum install -y wget openssl gcc gcc-c++ zlib-devel openssl-devel make redhat-rpm-config

（2）ホスト名を変更

hostnamectl set-hostname k8s-master01 && bash
hostnamectl set-hostname k8s-master02 && bash
hostnamectl set-hostname k8s-node01 && bash
hostnamectl set-hostname k8s-node02 && bash
hostnamectl set-hostname k8s-node03 && bash

（3）システム環境の変更

#firewalldファイアウォールを停止
systemctl stop firewalld
systemctl disable firewalld
firewall-cmd --state

#iptablesをインストール
yum install -y iptables-services
systemctl start iptables
iptables -F
systemctl enable iptables

# selinuxを永久に無効にする
setenforce 0
 sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config
cat /etc/selinux/config

# swapを永久に無効にする
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab
cat /etc/fstab

# タイムゾーンを設定
timedatectl set-timezone Asia/Shanghai
date

# hostsを追加
cat >> /etc/hosts << EOF
192.168.0.111 k8s-master01
192.168.0.112 k8s-master02
192.168.0.113 k8s-master03
192.168.0.114 k8s-node01
192.168.0.115 k8s-node02
EOF
#確認
cat /etc/hosts

（4）ipvs をインストール

# ipvsをインストール
yum -y install ipvsadm sysstat conntrack libseccomp

#ルーティング転送を有効にする
echo 'net.ipv4.ip_forward=1' >> /etc/sysctl.conf
sysctl -p

#ipvsモジュールをロード
cat >> /etc/modules-load.d/ipvs.conf <<EOF
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
nf_conntrack
ip_tables
ip_set
xt_set
ipt_set
ipt_rpfilter
ipt_REJECT
ipip
EOF

systemctl restart systemd-modules-load.service

lsmod | grep -e ip_vs -e nf_conntrack

（5）calico ネットワークインターフェースが NetworkManager によって管理されないように除外

# calicoネットワークインターフェースがNetworkManagerによって管理されないように除外
cat > /etc/NetworkManager/conf.d/calico.conf << EOF 
[keyfile]
unmanaged-devices=interface-name:cali*;interface-name:tunl*
EOF

systemctl restart NetworkManager

（6）時間同期サーバーを設定

#k8s-master01上のchrony設定ファイルを変更
sed -i -e 's/2\.rocky\.pool\.ntp\.org/ntp.aliyun.com/g' -e 's/#allow 192\.168\.0\.0\/16/allow 192.168.0.0\/24/g' -e 's/#local stratum 10/local stratum 10/g' /etc/chrony.conf

#k8s-master02上のchrony設定ファイルを変更
sed -i -e 's/2\.rocky\.pool\.ntp\.org/ntp.aliyun.com/g' -e 's/#allow 192\.168\.0\.0\/16/allow 192.168.0.0\/24/g' -e 's/#local stratum 10/local stratum 11/g' /etc/chrony.conf

#k8s-master03上のchrony設定ファイルを変更
sed -i -e 's/2\.rocky\.pool\.ntp\.org/ntp.aliyun.com/g' -e 's/#allow 192\.168\.0\.0\/16/allow 192.168.0.0\/24/g' -e 's/#local stratum 10/local stratum 12/g' /etc/chrony.conf

#k8s-node01、k8s-node02、k8s-node03上のchrony設定ファイルを変更
sed -i 's/^pool 2\.rocky\.pool\.ntp\.org iburst$/pool 192.168.0.111 iburst\
pool 192.168.0.112 iburst\
pool 192.168.0.113 iburst/g' /etc/chrony.conf

#chronydを再起動
systemctl restart chronyd

#検証
chronyc sources -v

（7）プロセスが開くことのできる最大ファイル数を設定

# ulimitを設定
ulimit -SHn 65535

cat >> /etc/security/limits.conf << EOF
* soft nofile 655360
* hard nofile 131072
* soft nproc 655350
* hard nproc 655350
* soft memlock unlimited
* hard memlock unlimitedd
EOF

（8）カーネルパラメータを変更

cat <<EOF > /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
fs.may_detach_mounts = 1
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
fs.file-max=52706963
fs.nr_open=52706963
net.netfilter.nf_conntrack_max=2310720
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_keepalive_intvl =15
net.ipv4.tcp_max_tw_buckets = 36000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_orphans = 327680
net.ipv4.tcp_orphan_retries = 3
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.ip_conntrack_max = 65536
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_timestamps = 0
net.core.somaxconn = 16384
net.ipv6.conf.all.disable_ipv6 = 0
net.ipv6.conf.default.disable_ipv6 = 0
net.ipv6.conf.lo.disable_ipv6 = 0
net.ipv6.conf.all.forwarding = 1
EOF

sysctl --system

Docker のインストール#

（1）スクリプトを使用して Docker をインストール

bash <(curl -sSL https://linuxmirrors.cn/docker.sh)

（2）Docker の設定変更

cat >/etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "registry-mirrors": [
   "http://hub-mirror.c.163.com",
   "https://hub.rat.dev",
   "https://docker.mirrors.ustc.edu.cn",
   "https://docker.1panel.live",
   "https://docker.m.daocloud.io",
   "https://docker.1ms.run"
  ],
  "max-concurrent-downloads": 10,
  "log-driver": "json-file",
  "log-level": "warn",
  "log-opts": {
    "max-size": "10m",
    "max-file": "3"
    },
  "data-root": "/data/dockerData"
}
EOF

systemctl daemon-reload
systemctl restart docker

cri-dockerd のインストール#

（1）cri-dockerd をダウンロードしてインストール

wget https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.18/cri-dockerd-0.3.18.amd64.tgz

tar xvf cri-dockerd-*.amd64.tgz 
cp -r cri-dockerd/*  /usr/bin/
chmod +x /usr/bin/cri-dockerd

（2）cri-docker のサービス設定ファイルを追加

cat >  /usr/lib/systemd/system/cri-docker.service <<EOF
[Unit]
Description=CRI Interface for Docker Application Container Engine
Documentation=https://docs.mirantis.com
After=network-online.target firewalld.service docker.service
Wants=network-online.target
Requires=cri-docker.socket

[Service]
Type=notify
ExecStart=/usr/bin/cri-dockerd --network-plugin=cni --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.10
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always
StartLimitBurst=3
StartLimitInterval=60s
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TasksMax=infinity
Delegate=yes
KillMode=process

[Install]
WantedBy=multi-user.target
EOF

（3）cri-docker のソケット設定ファイルを追加

cat > /usr/lib/systemd/system/cri-docker.socket <<EOF
[Unit]
Description=CRI Docker Socket for the API
PartOf=cri-docker.service

[Socket]
ListenStream=%t/cri-dockerd.sock
SocketMode=0660
SocketUser=root
SocketGroup=docker

[Install]
WantedBy=sockets.target
EOF

（4）cri-dockerd を起動し、設定を有効にする

systemctl daemon-reload
systemctl enable --now cri-docker.service
systemctl status cri-docker.service

etcd クラスターのインストール（マスターノード）#

（1）etcd パッケージをダウンロードしてインストール

wget https://github.com/etcd-io/etcd/releases/download/v3.6.4/etcd-v3.6.4-linux-amd64.tar.gz

tar -xf etcd-*.tar.gz
mv etcd-*/etcd /usr/local/bin/ && mv etcd-*/etcdctl /usr/local/bin/
ls /usr/local/bin/
etcdctl version

Kubernetes クラスターのインストール#

（1）Kubernetes バイナリパッケージをダウンロードしてインストール

wget https://dl.k8s.io/v1.33.2/kubernetes-server-linux-amd64.tar.gz

#マスターノードで実行
tar -xf kubernetes-server-linux-amd64.tar.gz  --strip-components=3 -C /usr/local/bin kubernetes/server/bin/kube{let,ctl,-apiserver,-controller-manager,-scheduler,-proxy}
#ノードで実行
tar -xf kubernetes-server-linux-amd64.tar.gz  --strip-components=3 -C /usr/local/bin kubernetes/server/bin/kube{let,-proxy}

ls /usr/local/bin/
kubelet --version
#すべてのノードで実行し、CNIプラグインを保存する
mkdir -p /opt/cni/bin

関連証明書を生成する（マスターノード）#

cfssl 証明書管理ツールのインストール#

wget https://hub.gitmirror.com/https://github.com/cloudflare/cfssl/releases/download/v1.6.5/cfssl-certinfo_1.6.5_linux_amd64 -O /usr/local/bin/cfssl-certinfo
wget https://hub.gitmirror.com/https://github.com/cloudflare/cfssl/releases/download/v1.6.5/cfssljson_1.6.5_linux_amd64 -O /usr/local/bin/cfssljson
wget https://hub.gitmirror.com/https://github.com/cloudflare/cfssl/releases/download/v1.6.5/cfssl_1.6.5_linux_amd64 -O /usr/local/bin/cfssl -O /usr/local/bin/cfssl

#実行権限を追加し、バージョンを確認
chmod +x /usr/local/bin/cfssl*
cfssl version

etcd 証明書を生成#

mkdir -p /etc/etcd/ssl && cd /etc/etcd/ssl

#証明書生成の設定ファイルを作成
cat > ca-config.json << EOF 
{
  "signing": {
    "default": {
      "expiry": "876000h"
    },
    "profiles": {
      "kubernetes": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "876000h"
      }
    }
  }
}
EOF

#証明書署名要求ファイルを作成
cat > etcd-ca-csr.json  << EOF 
{
  "CN": "etcd",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Beijing",
      "L": "Beijing",
      "O": "etcd",
      "OU": "Etcd Security"
    }
  ],
  "ca": {
    "expiry": "876000h"
  }
}
EOF

etcd の CA 証明書とキーを発行

cfssl gencert -initca etcd-ca-csr.json | cfssljson -bare /etc/etcd/ssl/etcd-ca

etcd のサーバー証明書を生成するための設定ファイルを作成

cat > etcd-csr.json << EOF 
{
  "CN": "etcd",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Beijing",
      "L": "Beijing",
      "O": "etcd",
      "OU": "Etcd Security"
    }
  ]
}
EOF

etcd のサーバー証明書を発行

cfssl gencert    -ca=/etc/etcd/ssl/etcd-ca.pem    -ca-key=/etc/etcd/ssl/etcd-ca-key.pem    -config=ca-config.json -hostname=127.0.0.1,k8s-master01,k8s-master02,k8s-master03,192.168.0.111,192.168.0.112,192.168.0.113  -profile=kubernetes    etcd-csr.json | cfssljson -bare /etc/etcd/ssl/etcd

Kubernetes 証明書を生成#

mkdir -p /etc/kubernetes/pki && cd /etc/kubernetes/pki
#証明書署名要求ファイルを作成
cat > ca-csr.json   << EOF 
{
  "CN": "kubernetes",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Beijing",
      "L": "Beijing",
      "O": "Kubernetes",
      "OU": "Kubernetes-manual"
    }
  ],
  "ca": {
    "expiry": "876000h"
  }
}
EOF

Kubernetes の CA 証明書とキーを発行

cfssl gencert -initca ca-csr.json | cfssljson -bare /etc/kubernetes/pki/ca

ApiServer 証明書を生成#

#証明書署名要求ファイルを作成
cat > apiserver-csr.json << EOF 
{
  "CN": "kube-apiserver",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Beijing",
      "L": "Beijing",
      "O": "Kubernetes",
      "OU": "Kubernetes-manual"
    }
  ]
}
EOF

#証明書生成の設定ファイルを作成
cat > ca-config.json << EOF 
{
  "signing": {
    "default": {
      "expiry": "876000h"
    },
    "profiles": {
      "kubernetes": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "876000h"
      }
    }
  }
}
EOF

ApiServer の CA 証明書とキーを発行

cfssl gencert   -ca=/etc/kubernetes/pki/ca.pem -ca-key=/etc/kubernetes/pki/ca-key.pem  -config=ca-config.json -hostname=10.96.0.1,127.0.0.1,kubernetes,kubernetes.default,kubernetes.default.svc,kubernetes.default.svc.cluster,kubernetes.default.svc.cluster.local,192.168.0.111,192.168.0.112,192.168.0.113,192.168.0.114,192.168.0.115,192.168.0.116,192.168.0.117,192.168.0.118,192.168.0.119,192.168.0.120  -profile=kubernetes   apiserver-csr.json | cfssljson -bare /etc/kubernetes/pki/apiserver

10.96.0.1 は Kubernetes のサービスのデフォルトアドレスです。

kubernetes,kubernetes.default,kubernetes.default.svc,kubernetes.default.svc.cluster,kubernetes.default.svc.cluster.local は Kubernetes のデフォルトの解決ドメインです。

ApiServer 集約証明書を生成#

#証明書署名要求ファイルを作成
cat > front-proxy-ca-csr.json  << EOF 
{
  "CN": "kubernetes",
  "key": {
     "algo": "rsa",
     "size": 2048
  },
  "ca": {
    "expiry": "876000h"
  }
}
EOF

ApiServer 集約証明書とキーを発行

cfssl gencert   -initca front-proxy-ca-csr.json | cfssljson -bare /etc/kubernetes/pki/front-proxy-ca

ApiServer 集約証明書のクライアント証明書を生成#

#証明書署名要求ファイルを作成
cat > front-proxy-client-csr.json  << EOF 
{
  "CN": "front-proxy-client",
  "key": {
     "algo": "rsa",
     "size": 2048
  }
}
EOF

ApiServer 集約証明書のクライアント証明書とキーを発行

cfssl gencert  \
-ca=/etc/kubernetes/pki/front-proxy-ca.pem   \
-ca-key=/etc/kubernetes/pki/front-proxy-ca-key.pem   \
-config=ca-config.json   \
-profile=kubernetes   front-proxy-client-csr.json | cfssljson -bare /etc/kubernetes/pki/front-proxy-client

controller-manager 証明書を生成#

#証明書署名要求ファイルを作成
cat > manager-csr.json << EOF 
{
  "CN": "system:kube-controller-manager",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Beijing",
      "L": "Beijing",
      "O": "system:kube-controller-manager",
      "OU": "Kubernetes-manual"
    }
  ]
}
EOF

controller-manager 証明書とキーを発行

cfssl gencert \
   -ca=/etc/kubernetes/pki/ca.pem \
   -ca-key=/etc/kubernetes/pki/ca-key.pem \
   -config=ca-config.json \
   -profile=kubernetes \
   manager-csr.json | cfssljson -bare /etc/kubernetes/pki/controller-manager

controller-manager 専用の kubeconfig 設定ファイルを生成

kubectl config set-cluster kubernetes \
     --certificate-authority=/etc/kubernetes/pki/ca.pem \
     --embed-certs=true \
     --server=https://127.0.0.1:8443 \
     --kubeconfig=/etc/kubernetes/controller-manager.kubeconfig

kubectl config set-context system:kube-controller-manager@kubernetes \
    --cluster=kubernetes \
    --user=system:kube-controller-manager \
    --kubeconfig=/etc/kubernetes/controller-manager.kubeconfig

kubectl config set-credentials system:kube-controller-manager \
    --client-certificate=/etc/kubernetes/pki/controller-manager.pem \
    --client-key=/etc/kubernetes/pki/controller-manager-key.pem \
    --embed-certs=true \
    --kubeconfig=/etc/kubernetes/controller-manager.kubeconfig

kubectl config use-context system:kube-controller-manager@kubernetes \
     --kubeconfig=/etc/kubernetes/controller-manager.kubeconfig

kube-scheduler 証明書を生成#

#証明書署名要求ファイルを作成
cat > scheduler-csr.json << EOF 
{
  "CN": "system:kube-scheduler",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Beijing",
      "L": "Beijing",
      "O": "system:kube-scheduler",
      "OU": "Kubernetes-manual"
    }
  ]
}
EOF

kube-scheduler 証明書とキーを発行

cfssl gencert \
   -ca=/etc/kubernetes/pki/ca.pem \
   -ca-key=/etc/kubernetes/pki/ca-key.pem \
   -config=ca-config.json \
   -profile=kubernetes \
   scheduler-csr.json | cfssljson -bare /etc/kubernetes/pki/scheduler

kube-scheduler 専用の kubeconfig 設定ファイルを生成

kubectl config set-cluster kubernetes \
     --certificate-authority=/etc/kubernetes/pki/ca.pem \
     --embed-certs=true \
     --server=https://127.0.0.1:8443 \
     --kubeconfig=/etc/kubernetes/scheduler.kubeconfig

kubectl config set-credentials system:kube-scheduler \
     --client-certificate=/etc/kubernetes/pki/scheduler.pem \
     --client-key=/etc/kubernetes/pki/scheduler-key.pem \
     --embed-certs=true \
     --kubeconfig=/etc/kubernetes/scheduler.kubeconfig

kubectl config set-context system:kube-scheduler@kubernetes \
     --cluster=kubernetes \
     --user=system:kube-scheduler \
     --kubeconfig=/etc/kubernetes/scheduler.kubeconfig

kubectl config use-context system:kube-scheduler@kubernetes \
     --kubeconfig=/etc/kubernetes/scheduler.kubeconfig

admin 証明書を生成#

#証明書署名要求ファイルを作成
cat > admin-csr.json << EOF 
{
  "CN": "admin",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Beijing",
      "L": "Beijing",
      "O": "system:masters",
      "OU": "Kubernetes-manual"
    }
  ]
}
EOF

admin 証明書とキーを発行

cfssl gencert \
   -ca=/etc/kubernetes/pki/ca.pem \
   -ca-key=/etc/kubernetes/pki/ca-key.pem \
   -config=ca-config.json \
   -profile=kubernetes \
   admin-csr.json | cfssljson -bare /etc/kubernetes/pki/admin

admin 専用の kubeconfig 設定ファイルを生成

kubectl config set-cluster kubernetes     \
  --certificate-authority=/etc/kubernetes/pki/ca.pem     \
  --embed-certs=true     \
  --server=https://127.0.0.1:8443     \
  --kubeconfig=/etc/kubernetes/admin.kubeconfig

kubectl config set-credentials kubernetes-admin  \
  --client-certificate=/etc/kubernetes/pki/admin.pem     \
  --client-key=/etc/kubernetes/pki/admin-key.pem     \
  --embed-certs=true     \
  --kubeconfig=/etc/kubernetes/admin.kubeconfig

kubectl config set-context kubernetes-admin@kubernetes    \
  --cluster=kubernetes     \
  --user=kubernetes-admin     \
  --kubeconfig=/etc/kubernetes/admin.kubeconfig

kubectl config use-context kubernetes-admin@kubernetes  --kubeconfig=/etc/kubernetes/admin.kubeconfig

kube-proxy 証明書を生成#

#証明書署名要求ファイルを作成
cat > kube-proxy-csr.json  << EOF 
{
  "CN": "system:kube-proxy",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Beijing",
      "L": "Beijing",
      "O": "system:kube-proxy",
      "OU": "Kubernetes-manual"
    }
  ]
}
EOF

kube-proxy 証明書とキーを発行

cfssl gencert \
   -ca=/etc/kubernetes/pki/ca.pem \
   -ca-key=/etc/kubernetes/pki/ca-key.pem \
   -config=ca-config.json \
   -profile=kubernetes \
   kube-proxy-csr.json | cfssljson -bare /etc/kubernetes/pki/kube-proxy

kube-proxy 専用の kubeconfig 設定ファイルを生成

kubectl config set-cluster kubernetes     \
  --certificate-authority=/etc/kubernetes/pki/ca.pem     \
  --embed-certs=true     \
  --server=https://127.0.0.1:8443     \
  --kubeconfig=/etc/kubernetes/kube-proxy.kubeconfig

kubectl config set-credentials kube-proxy  \
  --client-certificate=/etc/kubernetes/pki/kube-proxy.pem     \
  --client-key=/etc/kubernetes/pki/kube-proxy-key.pem     \
  --embed-certs=true     \
  --kubeconfig=/etc/kubernetes/kube-proxy.kubeconfig

kubectl config set-context kube-proxy@kubernetes    \
  --cluster=kubernetes     \
  --user=kube-proxy     \
  --kubeconfig=/etc/kubernetes/kube-proxy.kubeconfig

kubectl config use-context kube-proxy@kubernetes  --kubeconfig=/etc/kubernetes/kube-proxy.kubeconfig

ServiceAccount 暗号化キーを作成#

openssl genrsa -out /etc/kubernetes/pki/sa.key 2048
openssl rsa -in /etc/kubernetes/pki/sa.key -pubout -out /etc/kubernetes/pki/sa.pub

コンポーネント設定を追加し、サービスを起動#

ETCD コンポーネント（マスターノード）#

（1）k8s-master01 の設定ファイル

cat > /etc/etcd/etcd.config.yml << EOF 
name: 'k8s-master01'
data-dir: /var/lib/etcd
wal-dir: /var/lib/etcd/wal
snapshot-count: 5000
heartbeat-interval: 100
election-timeout: 1000
quota-backend-bytes: 0
listen-peer-urls: 'https://192.168.0.111:2380'
listen-client-urls: 'https://192.168.0.111:2379,http://127.0.0.1:2379'
max-snapshots: 3
max-wals: 5
cors:
initial-advertise-peer-urls: 'https://192.168.0.111:2380'
advertise-client-urls: 'https://192.168.0.111:2379'
discovery:
discovery-fallback: 'proxy'
discovery-proxy:
discovery-srv:
initial-cluster: 'k8s-master01=https://192.168.0.111:2380,k8s-master02=https://192.168.0.112:2380,k8s-master03=https://192.168.0.113:2380'
initial-cluster-token: 'etcd-k8s-cluster'
initial-cluster-state: 'new'
strict-reconfig-check: false
enable-v2: true
enable-pprof: true
proxy: 'off'
proxy-failure-wait: 5000
proxy-refresh-interval: 30000
proxy-dial-timeout: 1000
proxy-write-timeout: 5000
proxy-read-timeout: 0
client-transport-security:
  cert-file: '/etc/kubernetes/pki/etcd/etcd.pem'
  key-file: '/etc/kubernetes/pki/etcd/etcd-key.pem'
  client-cert-auth: true
  trusted-ca-file: '/etc/kubernetes/pki/etcd/etcd-ca.pem'
  auto-tls: true
peer-transport-security:
  cert-file: '/etc/kubernetes/pki/etcd/etcd.pem'
  key-file: '/etc/kubernetes/pki/etcd/etcd-key.pem'
  peer-client-cert-auth: true
  trusted-ca-file: '/etc/kubernetes/pki/etcd/etcd-ca.pem'
  auto-tls: true
debug: false
log-package-levels:
log-outputs: [default]
force-new-cluster: false
EOF

（2）k8s-master02 の設定ファイル

cat > /etc/etcd/etcd.config.yml << EOF 
name: 'k8s-master02'
data-dir: /var/lib/etcd
wal-dir: /var/lib/etcd/wal
snapshot-count: 5000
heartbeat-interval: 100
election-timeout: 1000
quota-backend-bytes: 0
listen-peer-urls: 'https://192.168.0.112:2380'
listen-client-urls: 'https://192.168.0.112:2379,http://127.0.0.1:2379'
max-snapshots: 3
max-wals: 5
cors:
initial-advertise-peer-urls: 'https://192.168.0.112:2380'
advertise-client-urls: 'https://192.168.0.112:2379'
discovery:
discovery-fallback: 'proxy'
discovery-proxy:
discovery-srv:
initial-cluster: 'k8s-master01=https://192.168.0.111:2380,k8s-master02=https://192.168.0.112:2380,k8s-master03=https://192.168.0.113:2380'
initial-cluster-token: 'etcd-k8s-cluster'
initial-cluster-state: 'new'
strict-reconfig-check: false
enable-v2: true
enable-pprof: true
proxy: 'off'
proxy-failure-wait: 5000
proxy-refresh-interval: 30000
proxy-dial-timeout: 1000
proxy-write-timeout: 5000
proxy-read-timeout: 0
client-transport-security:
  cert-file: '/etc/kubernetes/pki/etcd/etcd.pem'
  key-file: '/etc/kubernetes/pki/etcd/etcd-key.pem'
  client-cert-auth: true
  trusted-ca-file: '/etc/kubernetes/pki/etcd/etcd-ca.pem'
  auto-tls: true
peer-transport-security:
  cert-file: '/etc/kubernetes/pki/etcd/etcd.pem'
  key-file: '/etc/kubernetes/pki/etcd/etcd-key.pem'
  peer-client-cert-auth: true
  trusted-ca-file: '/etc/kubernetes/pki/etcd/etcd-ca.pem'
  auto-tls: true
debug: false
log-package-levels:
log-outputs: [default]
force-new-cluster: false
EOF

（3）k8s-master03 の設定ファイル

cat > /etc/etcd/etcd.config.yml << EOF 
name: 'k8s-master03'
data-dir: /var/lib/etcd
wal-dir: /var/lib/etcd/wal
snapshot-count: 5000
heartbeat-interval: 100
election-timeout: 1000
quota-backend-bytes: 0
listen-peer-urls: 'https://192.168.0.113:2380'
listen-client-urls: 'https://192.168.0.113:2379,http://127.0.0.1:2379'
max-snapshots: 3
max-wals: 5
cors:
initial-advertise-peer-urls: 'https://192.168.0.113:2380'
advertise-client-urls: 'https://192.168.0.113:2379'
discovery:
discovery-fallback: 'proxy'
discovery-proxy:
discovery-srv:
initial-cluster: 'k8s-master01=https://192.168.0.111:2380,k8s-master02=https://192.168.0.112:2380,k8s-master03=https://192.168.0.113:2380'
initial-cluster-token: 'etcd-k8s-cluster'
initial-cluster-state: 'new'
strict-reconfig-check: false
enable-v2: true
enable-pprof: true
proxy: 'off'
proxy-failure-wait: 5000
proxy-refresh-interval: 30000
proxy-dial-timeout: 1000
proxy-write-timeout: 5000
proxy-read-timeout: 0
client-transport-security:
  cert-file: '/etc/kubernetes/pki/etcd/etcd.pem'
  key-file: '/etc/kubernetes/pki/etcd/etcd-key.pem'
  client-cert-auth: true
  trusted-ca-file: '/etc/kubernetes/pki/etcd/etcd-ca.pem'
  auto-tls: true
peer-transport-security:
  cert-file: '/etc/kubernetes/pki/etcd/etcd.pem'
  key-file: '/etc/kubernetes/pki/etcd/etcd-key.pem'
  peer-client-cert-auth: true
  trusted-ca-file: '/etc/kubernetes/pki/etcd/etcd-ca.pem'
  auto-tls: true
debug: false
log-package-levels:
log-outputs: [default]
force-new-cluster: false
EOF

（4）etcd サービス起動設定ファイルを作成

cat > /usr/lib/systemd/system/etcd.service << EOF

[Unit]
Description=Etcd Service
Documentation=https://coreos.com/etcd/docs/latest/
After=network.target

[Service]
Type=notify
ExecStart=/usr/local/bin/etcd --config-file=/etc/etcd/etcd.config.yml
Restart=on-failure
RestartSec=10
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target
Alias=etcd3.service

EOF

（5）etcd サービスを起動

mkdir -p /etc/kubernetes/pki/etcd
ln -s /etc/etcd/ssl/* /etc/kubernetes/pki/etcd/

systemctl daemon-reload
systemctl enable --now etcd.service
systemctl status etcd.service

（6）etcd クラスターの健康状態

export ETCDCTL_API=3
etcdctl --endpoints="192.168.0.111:2379,192.168.0.112:2379,192.168.0.113:2379" --cacert=/etc/kubernetes/pki/etcd/etcd-ca.pem --cert=/etc/kubernetes/pki/etcd/etcd.pem --key=/etc/kubernetes/pki/etcd/etcd-key.pem  endpoint status --write-out=table

+--------------------+------------------+---------+-----------------+---------+--------+-----------------------+-------+-----------+------------+-----------+------------+--------------------+--------+--------------------------+-------------------+
| ENDPOINT | ID | VERSION | STORAGE VERSION | DB SIZE | IN USE | PERCENTAGE NOT IN USE | QUOTA | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS | DOWNGRADE TARGET VERSION | DOWNGRADE ENABLED |
+--------------------+------------------+---------+-----------------+---------+--------+-----------------------+-------+-----------+------------+-----------+------------+--------------------+--------+--------------------------+-------------------+
| 192.168.0.111:2379 | 9c35553b47538310 | 3.6.4 | 3.6.0 | 20 kB | 16 kB | 20% | 0 B | true | false | 3 | 6 | 6 | | | false |
| 192.168.0.112:2379 | 545bae002651f913 | 3.6.4 | 3.6.0 | 20 kB | 16 kB | 20% | 0 B | false | false | 2 | 7 | 7 | | | false |
| 192.168.0.113:2379 | d7497b3a31d15f9e | 3.6.4 | 3.6.0 | 20 kB | 16 kB | 20% | 0 B | false | false | 2 | 7 | 7 | | | false |
+--------------------+------------------+---------+-----------------+---------+--------+-----------------------+-------+-----------+------------+-----------+------------+--------------------+--------+--------------------------+-------------------+
#etcd関連のファイアウォールポリシーを保存し、再起動後にetcdサービスが起動できないのを防ぐ
service iptables save
サーバーを再起動後に etcd クラスターサービスが起動できない場合は、ファイアウォールルールをクリアし、etcd サービスを起動してポリシーを保存してください。

Nginx の高可用性設定#

（1）Nginx をダウンロードしてインストール

wget https://nginx.org/download/nginx-1.28.0.tar.gz
tar xvf nginx-1.28.0.tar.gz
cd nginx-1.28.0
#コンパイルインストール、--with-streamはレイヤー4プロキシを有効にする
./configure --with-stream --without-http --without-http_uwsgi_module --without-http_scgi_module --without-http_fastcgi_module
make && make install

（2）設定ファイルを作成

cat > /usr/local/nginx/conf/kube-nginx.conf <<EOF
worker_processes 1;
events {
    worker_connections  1024;
}
stream {
    upstream backend {
    	least_conn;
        hash $remote_addr consistent;
        server 192.168.0.111:6443        max_fails=3 fail_timeout=30s;
        server 192.168.0.112:6443        max_fails=3 fail_timeout=30s;
        server 192.168.0.113:6443        max_fails=3 fail_timeout=30s;
    }
    server {
        listen 127.0.0.1:8443;
        proxy_connect_timeout 1s;
        proxy_pass backend;
    }
}
EOF

（6）nignx サービスを追加

cat > /etc/systemd/system/kube-nginx.service <<EOF
[Unit]
Description=kube-apiserver nginx proxy
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
Type=forking
ExecStartPre=/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/kube-nginx.conf -p /usr/local/nginx -t
ExecStart=/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/kube-nginx.conf -p /usr/local/nginx
ExecReload=/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/kube-nginx.conf -p /usr/local/nginx -s reload
PrivateTmp=true
Restart=always
RestartSec=5
StartLimitInterval=0
LimitNOFILE=65536
 
[Install]
WantedBy=multi-user.target
EOF

（7）サービスを起動

systemctl daemon-reload
systemctl enable --now kube-nginx.service
systemctl status kube-nginx.service

ApiServer コンポーネント#

#すべてのノードで