Requirements

Description des noeuds

Noeud d'opération (kdl-spray-1)

Ce noeud sert à gérer la plateforme.

Il est appelé noeud d'opération (ou parfois VM d'opération). Il permet les opérations d'installation, de mise à niveau ou de démarrage/arrêt des différents services.

C'est ce noeud qui va recevoir le package d'installation pour le déploiement initial.

Noeud Kubernetes master (kdl-master-[i])

Ce sont les noeuds master de Kubernetes qui pilotent les noeuds workers.

Deux choix possibles :

• pour une installation minimale un seul noeud master doit être configuré
• pour une installation avec redondance trois noeuds masters doivent être configurés

Noeuds Kubernetes worker (kdl-worker-[i])

Ces noeuds sont dédiés aux applications et composants installés sur le cluster Kubernetes.

Ce sont eux qui par exemple hébergent les différents stockages de données.

Ressources minimales nécessaires

nom	vcpus	ram	partitions(Go)	disque brut, sans lvm(Go)	nb vm
kdl-spray-1	2	4	/ 50 /data 300		1
kdl-master-[i]	2	8	/ 50 /var 200	200	1 ou 3
kdl-worker-[i]	16	64	/ 50 /var 200	200	6

info

Le disque brut sera géré par Kubernetes pour le stockage des données. Kubernetes s'occupera de la gestion des partitions et volumes logiques LVM

info

la partition /var sur les noeuds Kubernetes est demandée en particulier pour les répertoires suivants :

• /var/lib/rancher/rke2
• /var/log/pods
• /var/lib/kubelet

info

Pour un bon fonctionnement il est recommandé :

• que les disques des VMs kdl-master-[i] aient au minimum 3000 iops de vitesse de lecture et écriture
• que les autres disques aient au moins 2000 iops.

Prérequis sur toutes les VMs

• Utiliser l'image ubuntu 24.04.3 en kernel 6.8.0-85-generic disponible à ce lien https://releases.ubuntu.com/24.04/ubuntu-24.04.3-live-server-amd64.iso (choisir Try or Install Ubuntu Server à l'étape Choose type of install puis dans les sections suivantes Ubuntu Server et non Ubuntu Server (minimized)). La partie GPU est sensible à la version du kernel, visible grâce à la commande uname -r. Si jamais ces pré-requis ne sont pas respectés alors il faudra apporter l'image nécessaire pour le gpu-operator. Par défaut, les images d'installation des drivers nvidia disponibles dans la livraison sont compatibles avec ce kernel (nvcr.io/nvidia/driver:570-6.8.0-85-generic-ubuntu24.04). Les GPU doivent être visibles au niveau de l'OS (si vm, envisager le "passthrough")
• Les commandes “tar” et “gunzip” sont disponibles
• Un utilisateur sudoers passwordless doit être défini. Cet utilisateur doit pouvoir faire du ssh passwordless entre les noeuds du cluster. De plus son shell par défaut doit être "/bin/bash".
• Les VMs doivent être configurées pour utiliser un serveur NTP afin de garantir une horloge synchronisée
• Les VMs doivent être configurées pour utiliser un serveur DNS, à défaut /etc/hosts sera utilisé
• Si un DNS est utilisé, aucune directive search ne doit être présente dans les fichiers /etc/resolv.conf des noeuds

info

Dans le cas de l’utilisation d’un serveur DNS, selon la configuration du serveur DNS externe, la résolution du DNS interne à Kubernetes (CoreDNS) pourrait être en échec et l’installation des applications dans Kubernetes échouera (actuellement sur la release kflow-temporal).

Prérequis sur la VM spray

• la partition /data ne doit pas être en mode noexec

Prérequis sur les VMs masters et workers kubernetes

• iptables doit être installé
• Des routes par défaut doivent être définies au moins pour les VM masters et workers Kubernetes
• L'ip_forwarding doit être activé
• Kubernetes pour fonctionner aura besoin d'utiliser deux réseaux, un pour les pods l'autre pour les services. Ces réseaux ne doivent pas être bloqués au niveau du IaaS. Par défaut les réseaux suivants sont utilisés : 10.42.0.0/16 pour le réseau des pods et 10.43.0.0/16 pour le réseau des services. Si un changement de réseaux était nécessaire, la procédure est décrite dans la section dédiée à l'installation.
• les partitions qui portent les répertoires /var/lib/rancher/rke2 et /var/lib/kubelet ne doivent pas être en mode noexec

Prérequis sur les postes utilisateurs

• Firefox doit être en version ESR 115 au minimum, à défaut l'interface Keycloak ne sera pas fonctionnelle