Aller au contenu principal

Troubleshooting

/var/lib/rancher/rke2 plein​

  1. Sur un worker la partition /var/lib/rancher/rke2 est rempli Ă  plus de 80%
sudo df -h /var/lib/rancher/rke2/
Filesystem      Size  Used Avail Use% Mounted on
/dev/vdb        100G   85G   15G  85% /var/lib/rancher/rke2
  1. Les repertoires agent/containerd/io.containerd.content.v1.content et agent/containerd/io.containerd.snapshotter.v1.overlayfs prennent le plus de place
sudo du -sh /var/lib/rancher/rke2/agent/containerd/io.containerd.content.v1.content
30G    /var/lib/rancher/rke2/agent/containerd/io.containerd.content.v1.content
sudo du -sh /var/lib/rancher/rke2/agent/containerd/io.containerd.snapshotter.v1.overlayfs
50G     /var/lib/rancher/rke2/agent/containerd/io.containerd.snapshotter.v1.overlayfs

Résolution​

Forcer un nettoyage des couches (layer) non utilisées

info

L'usage de cette commande peut forcer le retéléchargement par Kubernetes de certaines layer, causant des délais dans le démarrage des pods.

sudo crictl -c /var/lib/rancher/rke2/agent/etc/crictl.yaml rmi --prune

Explications​

Des images de container en trop grande quantité, trop volumineuse, contenant trop de couche (layer) ne permet pas au GarbageCollector du kubelet de faire son travail correctement.

Perte des accès aux IHMs​

Cette procédure permet de rétablir l'accès aux IHMs portées par Kubernetes en cas de panne du noeud k8s d'accès.

L'accès aux IHMs hébergées par Kubernetes n'est plus possible car le kdl-worker-x (par défaut kdl-worker-1) est en défaut.

Résolution​

  • se connecter Ă  la VM qui porte le DNS (DNS)
  • en tant que root, Ă©diter le fichier /var/named/technique.artemis.zone
    • pour modifier les lignes suivantes et renvoyer vers l'adresse IP d'un autre worker kubernetes disponible
kubm-k8s00-workers-technique-lb A <@IP worker 1>
kubm-k8s01-workers-technique-lb A <@IP worker 1>
  • pour modifier la quatrième ligne du fichier au sujet du serial en incrĂ©mentant sa valeur et en respectant le format YYYYMMDDXX avec YYYY, MM et DD respectivement l'annĂ©e, le mois et la date de la modification, et XX utilisĂ© comme incrĂ©ment. Par exemple
2024042433 ; serial
  • supprimer le fichier /var/named/technique.artemis.zone.jnl s'il est prĂ©sent
rm -f /var/named/technique.artemis.zone.jnl
  • redĂ©marrer le DNS
systemcl restart named

Explications​

Sur les environnements sans loadbalancer les entrées kubm-k8s00-workers-technique-lb et kubm-k8s01-workers-technique-lb pointent sur un worker pour permettre d'accéder aux services portés par Kubernetes. Si le worker en question n'est pas disponible il est nécessaire de modifier ces entrées pour pointer vers un autre worker disponible.