Bonjour,
Voici comment installer Ceph 18.2 dans Proxmox VE 8.2
Pour commencer nous allons configurer une IP Public et Privé : (CLI)
nano /etc/network/interfaces
Pour pouvez aussi configurer cela via Network : (WebUI)
Maintenant aller dans l'onglet Ceph :
Cliquer sur Install Ceph :
Changer le Repository en Non-Subscribe : (Si vous avez pas d'abonnement)
Cliquer sur Start reef installation : (Vous pouvez cocher Advanced)
Appuyez simplement sur y puis Enter pour continuer :
Vous pouvez maintenant appuyez sur Next pour continuer :
Vous pouvez maintenant renseigner vos IPs Public et Privé :
Dans notre cas l'ip Public est : 10.30.1.238 et l'ip Privé est : 10.10.10.1
Voilà vous avez fini l'installation de Ceph sur Proxmox :
Voici à quoi ressemble votre Ceph :
Voici l'erreur que vous pourrez rencontrer : (Normal vous avez aucun OSD = Disque)
Nous allons justement ajouter des OSDs à Ceph :
Il suffit de cliquer sur create OSD puis create.
Ceph detecte automatiquement la classe d'un disque.
Voilà à quoi cela ressemble une fois fini :
Dans cet exemple nous avons des OSDs qui sont des HDDs.
Maintenant nous allons créer une règle CRUSH pour Ceph :
ceph osd crush rule create-replicated replicated_hdd default host hdd
Cette règle peut ce lire ainsi :
ceph osd crush rule create-replicated <rule-name> <root> <failure-domain> <class>
Cela sert à indiquer à notre futur Pool que nous voulons uniquement des HDDs dans le Pool.
Maintenant nous vérifions que la règle CRUSH est bien créée :
Nous pouvons aussi lister nos OSDs précédement créé :
Nous pouvons donc maintenant créer un Pool RBD dans Pools :
Cliquer sur Create pour créer un Pool Ceph :
Dans notre cas nous avons changé la Crush Rule pour replicated_hdd
Le Size défini le nombre de réplication souhaité par défaut c'est 3 ce qui est un bon paramètre pour commencer.
Le Min. Size défini le nombre minimal de réplication souhaité par défaut c'est 2. (N'allez en dessous)
Le nombre de PGs est laissé par défaut pour l'instant mais c'est un paramètre très important.
Vous devez respecter une règle simple dont le resultat est en base 2 uniquement.
Voici la règle :
4 (OSD) x 100 (PG) / 3 (Size) = 133
Le nombre le plus proche en base 2 est 128 au delà de 25% il faut prendre le nombre supperieur par exemple 256
Pourquoi faire un x 100 (PG) car c'est dans le cas ou le nombre d'OSD par node est Stable dans le temps et qu'il n'augmente pas.
Sinon il faut mettre 200 (PG) si vous prévoyez d'augmenter significativement le nombre d'OSD par node.
Voici donc à quoi ressemble notre Stockage RBD Ceph :
Voici une vue plus complète de celui ci :
Maintenant voici ce que cela fait d'ajouter des OSD HDD + SSD :
Comme vous pouvez le voir aucun PGs n'est présent sur les SSD car il ne sont pas automatiquement intégré dans le Pool Ceph dont la règle est d'accepté uniquement les HDDs présent et futur.
Voici comment créer une règle pour les SSD :
ceph osd crush rule create-replicated replicated_ssd default host ssd
Sachez que vous ne pouvez pas créer de règle crush sans avoir ajouté un OSD correspondant à un HDD/SSD/NVMe.
PS : Il est à noté que vous pouvez aussi créer une règle pour les NVMe :
ceph osd crush rule create-replicated replicated_nvme default host nvme
Vérifions si la règle c'est bien créer :
Il y a encore pas mal de sujet à aborder sur Ceph c'est assez long et compliqué.
Mais vous pouvez déjà installer un cluster Ceph sans trop de difficulté avec ce tuto.