[MIGRATION SYSTEME] - raspbian en raid 1

Vous avez réalisé ou vous voulez réaliser un truc impensable avec votre Raspberry Pi ? Cet endroit est pour vous...

Modérateur : Francois

Martoni35
Messages : 4
Enregistré le : ven. 26 déc. 2014 18:02
Contact :

[MIGRATION SYSTEME] - raspbian en raid 1

Message par Martoni35 » ven. 26 déc. 2014 18:24

Bonjour,

Actuellement en fonctionnement sur un disque dur externe, le raspberry est ok avec le /boot sur la carte SD, la racine sur une partition principale et deux autres partitions principales pour le home et l'applicatif (owncloud).

/dev/sda1 ==> swap
/dev/sda2 ==> /
/dev/sda3 ==> /home
/dev/sda4 ==> /mnt/data

pi@raspberrypi ~ $ df -h
Sys. fich. Taille Util. Dispo Uti% Monté sur
rootfs 50G 2,0G 46G 5% /
/dev/root 50G 2,0G 46G 5% /
devtmpfs 211M 0 211M 0% /dev
tmpfs 44M 240K 44M 1% /run
tmpfs 5,0M 0 5,0M 0% /run/lock
tmpfs 88M 0 88M 0% /run/shm
/dev/mmcblk0p1 56M 19M 38M 34% /boot
/dev/sda3 394G 24G 351G 7% /home
/dev/sda4 394G 8,7G 365G 3% /mnt/data


Le but est l'ajout d'un autre disque dur externe, le préparer pour recevoir le même partitionnement, installer le RAID logiciel avec mdadm, préparer le RAID sur le disque 2, et ensuite, je m'interroge sur la prise en charge du noyau
et sur la gestion du boot (cmdline.txt) par le raspberrypi...avant de booter sur le disque 2 avec un missing sur le disque 1, pour ensuite, finaliser la configuration RAID sur le disque 1.

Est-ce que quelqu'un connaît un howto pour ce type de configuration ???
Quels sont les modifications à apporter au noyau, fichier de boot pour ce type de configuration ??
Quelqu'un a-t-il un retour d'expérience sur ce type de configuration et la gestion des accès disque (vitesse, plantage...) ???

En vous remerciant d'avance,

Cordialement,

Martoni

maxty01
Modérateur
Messages : 790
Enregistré le : dim. 16 nov. 2014 20:53
Localisation : Charleroi - Belgique

Re: [MIGRATION SYSTEME] - raspbian en raid 1

Message par maxty01 » ven. 26 déc. 2014 21:49

Bonsoir,

Étant un utilisateur de "mdadm*", voici ce que je peux te dire :

Mdadm est un consommateur de ressources matérielles, CPU/RAM... enfin moins en RAID1 qu'en RAID5 ou 6.
Pour installer un OS complet sur un RAID logiciel, il faut recréer le INITRAMFS, qui n'existe pas sur le RPI, je suppose qu'il faudra recompiler le noyau du RPI ...
De plus, tu peux le faire avec un OS déjà existant, mais avec un grand risque de perdre tes données déjà présentent sur le disque en cas de fausse manip, le mieux est de le faire sur une "fresh install" ou comme on dis chez nous "from strach".

Selon ta présentation, tu possèdes une modèle B avec 2 USB, voici ce que je peux te proposer avec les infos que tu nous donnes :
Vérifies que mdadm est compatible avec ton noyau en l'installant (il est présent dans les dépôts de Raspbian, j'en conclus qu'il n'y a pas de soucis, choisis le challenge)
Repasses ton OS sur une carte SD, une class 10 pour plus de réactivité.
Branches tes deux disques USB (un sur chaque USB).
Partitionnes un de tes disques et copier la MBR de disque partitionner sur l’autre. (ou partitionner le deux avec la même config)
Crées ton RAID1 en utilisant tes disques.
Formates tes disques en EXT4
Montes tes partitions /home et /media/data (je te conseil d'utiliser le dossier /media à la place de /mnt, c'est une best-pratice)
Sans oublier de les reconfigurer dans /etc/fstab avec /dev/md0 et /dev/md1
Pour finir, faire une copie de ta carte SD sur une autre pour plus de sécurité.
Et Enjoy ! (c'est aussi une best-pratice!)

Si tu veux faire le même projet sur RPI B+ avec 4 USB.
Tu peux utiliser 4 disques en RAID5 pour plus de place et de sécurité. Mais attention aux Perfs.

A savoir (en gros) sur le RAID5 et le RAID6 :
Comme je l'ai écris plus haut, le RAID5 et le RAID6 consomme plus de CPU/RAM, car ce n'est pas une simple réplication de bits, mais un calcul de parité plus complexe surtout pour le CPU.
Le calcul du RAID6 est plus complexe que celui du RAID5.
Le RAID5 tu perds la place d'un disque pour la parité. Le RAID5 demande un minimum de 3 disques pour être mis en place.
Le RAID6 : tu pers la place de DEUX disques pour la parité. Le RAID6 demande un minimum de 4 disques pour être mis en place.

Bref, je n'ai pas répondu exactement à ta question, et ce volontairement, car je sais que mettre en place un RAID1 Système + DATA peux devenir assez complexe, surtout avec l'architecture d'un RPI.
Cependant, ton projet n'est pas si farfelu et j'espère néanmoins avoir pu te donner des pistes pour le finaliser.

Bonne soirée,

*Je l'utilise pour mon NAS "home made" avec 6 x 2 To en RAID6 sur un Atom D525 (1.80GHz) avec 4Go de ddr2
Il n'y a pas de question stupide, il n'y a que des imbéciles qui ne posent pas de question !
RaspBerry Pi : 1 x B+ Raspbian 1 x RPI2 MiniBian
Mieux me connaître ? Regarder mon LinkedIn

Martoni35
Messages : 4
Enregistré le : ven. 26 déc. 2014 18:02
Contact :

Re: [MIGRATION SYSTEME] - raspbian en raid 1

Message par Martoni35 » sam. 27 déc. 2014 15:47

Bonjour,

Tout d'abord, merci pour ta réponse et les best-practice que j'ai tendance à oublier...
Le process que tu me présentes est sous doute bien adapter et je vais compléter ton avis avec les futures documentations notamment celle de la conf du noyau et du initramfs sur le site :
==> http://blog.drewwithers.com/2013/11/ras ... ition.html

Ensuite, je suis aussi demandeur de divers tests sur la consommation CPU/RAM pour un RAID1 sur un raspberrypi.
Car, comme tu l'annonces, le RAID1 logiciel peut demander beaucoup et je me m'interroge sur le comportement des accès disques lors de l'utilisation d'application comme Owncloud, le wedmail ou tout simplement les lectures/écritures systèmes.
En effet, à l'heure actuelle, j'ai des accès de moyennes qualités mais qui assure un service minimum pour une consommation électrique minimum.

Merci pour ton avis d'expert en la matière !!!

En attente de savoir sur le sujet, n'hésiter pas à commenter !!! Merci !!

Cordialement,

Martoni

maxty01
Modérateur
Messages : 790
Enregistré le : dim. 16 nov. 2014 20:53
Localisation : Charleroi - Belgique

Re: [MIGRATION SYSTEME] - raspbian en raid 1

Message par maxty01 » sam. 27 déc. 2014 16:25

Bonjour,

Je vais préciser mes infos, le RAID1 consomme sans doute un peu plus de ressources que sans RAID, mais pas à bloquer l'utilisation du RPI.

En ce qui concerne les performances, tu peux te douter que tu n'aura pas les performances d'un RAID logiciel aidé d'un CPU traditionnel et d'un contrôleur SATA/SAS en lieu et place d'un contrôleur USB,
et encore moins les performances d'un RAID matériel qui utilise son propre CPU et son contrôleur SATA/SAS.
Pour les performances d'I/O, l'écriture sera légèrement plus lente (puisque le système doit écrire sur 2 disques à la fois) tandis que la lecture sera légèrement plus rapide (puisque le système peut lire sur 2 disques en même temps).
Attention toute fois que le RPI ne possède qu'un chipset USB, et que les 2 USB (et dons les 2 disques) sont relié dessus, sans oublier l'interface réseau qui y est également rattaché.
Cela fait un sacré goulot d'étranglement pour un projet comme cela.
Il ne faut pas oublier également que le RPI possède un SOC limité à 600 ~ 700 MHz (saus overclock) et de 512Mo de RAM.

Je n'ai pas cherché à trouver des indices de performances sur un RPI en RAID1.
Cependant, tu peux utiliser des commandes tel que htop, iftop et iotop pour les mesurer.
htop est un top amélioré, en couleur et fortement configurable. Tu peux y retrouver facilement la charge CPU, l'utilisation de la RAM et le Load Average. La commande n'est pas installée par défaut.
iftop est une commande qui permet de voir l'activité réseau. La commande n'est pas installée par défaut et ne s'utilise qu'en ROOT.
iotop est une commande qui permet de voir l'activité de lecture/écriture du/des disques. La commande n'est pas installée par défaut et ne s'utilise qu'en ROOT.

Le Load Average est composé de 3 nombres abstraits qui nous informent de la bonne santé du système.
Le premier représente la charge sur 1 minute, le second sur 5 minutes et le dernier sur 15 minutes.
En générale, j'estime qu'un Load de 1 est égale à une charge de 100% pour un mono CPU, mais cette règle n'est sans doute pas correct pour un RPI.
Cependant, plusieurs paramètres sont pris en compte dans le calcul, entre autre le CPU, la RAM, le réseau, l'accès disque, etc...
Conclusion, si durant tes tests, tu observes une rapide montée en charge, cela signifie que tu as un goulot d'étranglement quelques part.
Si le Load Average est identique en 1, 5, 15, cela signifie que la charge est stable.
Si le Load Average 15 est plus grand que le 1 et le 5, cela signifie que le système à eu une monté en charge.
Si le Load Average 1 est plus grand que le 5 et 15, cela signifie que est actuellement dans une montée en charge.

L'article écrit sur le blog que tu proposes ci-dessus à l'air intéressant, mais je ne peux pas juger car je ne l'ai pas testé.

J'espère que ces informations t'aideront à y voir plus claire.

Si tu as d'autres questions, n'hésite pas.

Bien à toi,
Il n'y a pas de question stupide, il n'y a que des imbéciles qui ne posent pas de question !
RaspBerry Pi : 1 x B+ Raspbian 1 x RPI2 MiniBian
Mieux me connaître ? Regarder mon LinkedIn

maxty01
Modérateur
Messages : 790
Enregistré le : dim. 16 nov. 2014 20:53
Localisation : Charleroi - Belgique

Re: [MIGRATION SYSTEME] - raspbian en raid 1

Message par maxty01 » dim. 28 déc. 2014 20:30

Bonsoir,

Une autre information que tu peux trouver sur le net : raspberry pi nas.

Ces mots clés te donneront des informations pour ton projet.

Bien à toi,
Il n'y a pas de question stupide, il n'y a que des imbéciles qui ne posent pas de question !
RaspBerry Pi : 1 x B+ Raspbian 1 x RPI2 MiniBian
Mieux me connaître ? Regarder mon LinkedIn

Avatar du membre
vague nerd
Modérateur
Messages : 1473
Enregistré le : mar. 14 oct. 2014 11:42
Localisation : France !

Re: [MIGRATION SYSTEME] - raspbian en raid 1

Message par vague nerd » dim. 28 déc. 2014 21:00

Passionnant, je vous lis avec intérêt...
Faut que je relise le fonctionnement de la séquence de boot, je croyais de prime abord le projet impossible !

J'ai longtemps utilisé du raid à la maison, pour finalement y renoncer. Même sur le nas, je ne fais plus que du rsync.
Un des derniers tests qui m'a fait abandonner l'idée, c'est le temps de reconstruction de la grappe raid 5 après l'arrachage sauvage d'un des disques...
Et le miroir, c'est trop coûteux à la maison ! J'préfère acheter des périphériques et autres capteurs pour mon pi, et ses petits frères, que le père noël vient de m'apporter !

Cdt.
Cordialement,

Vague Nerd

maxty01
Modérateur
Messages : 790
Enregistré le : dim. 16 nov. 2014 20:53
Localisation : Charleroi - Belgique

Re: [MIGRATION SYSTEME] - raspbian en raid 1

Message par maxty01 » dim. 28 déc. 2014 21:21

Bonsoir vague nerd,

Je suis d'accord avec vous, suite à mes connaissances sur la séquence de boot du RPI, je croyais également le projet impossible, du moins avec l'os sur le RAID.

Il est vrai que le temps de reconstruction d'un RAID5 est assez long, mais durant le processus, les données sont toujours accessibles...

Et je ne vous parle pas du RAID6, que j'utilise chez moi, il me faut pas moins de 3 jours pour reconstruire une grappe de 6 x 2To.
Et au moins 24H pour faire un check et un resync (fait tout les débuts de mois automatiquement par mdadm).
De plus, le tout est monitoré via le S.M.A.R.T. de chaque disque.

Cependant, avec un RAID6, j'ai la possibilité de perdre 2 disques avant de perdre définitivement mes données.
Conclusion, le risque de perdre mes données sont minimes.
De plus que pour diminuer encore le risque de perdre mes données, j'effectue des backups journalier sur un disque externe.

Avec un RAID5, vous avez la possibilité de perdre 1 disque avant de perdre définitivement vos données.
Et vous diminuer le risque de perdre vos données en effectuant des backups réguliers.

Bonne soirée,
Bien à vous,
Il n'y a pas de question stupide, il n'y a que des imbéciles qui ne posent pas de question !
RaspBerry Pi : 1 x B+ Raspbian 1 x RPI2 MiniBian
Mieux me connaître ? Regarder mon LinkedIn

Avatar du membre
vague nerd
Modérateur
Messages : 1473
Enregistré le : mar. 14 oct. 2014 11:42
Localisation : France !

Re: [MIGRATION SYSTEME] - raspbian en raid 1

Message par vague nerd » dim. 28 déc. 2014 21:28

Finalement, je ne fais plus que du raid pour mirorer les disques des pc du réseaux domestique, et mon pc qui n'est jamais éteint, est sauvegardé régulièrement (en incrémental si je me souvient bien !).
Par contre, on sort l'artillerie lourde au boulot (grandes grappes et contrôleurs physique) !

Bonne soirée.
Cordialement,

Vague Nerd

Martoni35
Messages : 4
Enregistré le : ven. 26 déc. 2014 18:02
Contact :

Re: [MIGRATION SYSTEME] - raspbian en raid 1

Message par Martoni35 » dim. 28 déc. 2014 22:27

Bonsoir,

Les recherches continuent et je prends note de tes remarques maxty01.
L'information que je mets en avant est la gestion de l'USB qui nécessite un hub pour les deux disques, je n'étais pas au courant, merci encore.

Petit point sur l'outillage, les différentes variantes de top sont bien sympas (htop en parfois installé dans le SI où je travaille) mais je viens de découvrir "glances" qui travaille sous python et je vous laisse admirer le projet :
==> http://blog.nicolargo.com/2011/12/prese ... ances.html

Ceci est sympa en environnement domestique mais en grande entreprise, on reste sur du classique...enfin je m'écarte du sujet sur le RAID1.

Maintenant, j'attends d'éventuelles expériences en terme de RAID1 sur RASP et je continue les recherches pour continuer ce projet.

Pour ceux qui suivent l'aventure et dans le cas d'un projet finalisé, un tuto sera rédigé et disponible via mon wiki.

Affaire à suivre et merci d'avance à tous !!!

Cordialement,

Martoni

maxty01
Modérateur
Messages : 790
Enregistré le : dim. 16 nov. 2014 20:53
Localisation : Charleroi - Belgique

Re: [MIGRATION SYSTEME] - raspbian en raid 1

Message par maxty01 » dim. 28 déc. 2014 23:01

Bonsoir,

Effectivement, tu fais bien de mettre en avant le fait qu'un hub auto alimenté est nécessaire dans ce genre de projet, si tes disques ne possèdent pas d'alimentation propre.
Si tu utilises des disques qui possèdent leur alimentation, le hub usb n'a plus d'utilité.
Mais il récupère son utilité si tu souhaites utiliser d'autres périphériques USB.

Le projets "glances" à l'air intéressant, et permets d'avoir un œil sur le système ...
Malheureusement, il n'est pas dans les dépôts de Raspbian ni de Debian.
Il par contre présent sur Mint17 (sur la quelle j'ai testé glances) et sans aucun doute dans les dépôts Ubuntu 14.04.

Comme je l'ai écrit plus haut, il existe un certain nombre d'informations accessibles sur le avec les mots clés : Raspberry Pi + Nas + Raid.
Exemples trouvé en quelques clics (parcouru rapidement) :

RPI et RAID 1 en Français : http://xaviermichel.github.io/tutoriel/ ... pberry-pi/

RPI et RAID 5 en Anglais : http://www.davidhunt.ie/raid-pi-raspber ... le-server/

RPI et RAID 5 sur clé USB, analyse performances lecture écriture en Anglais : http://www.cageman.net/?p=95

Il serai très intéressant que le TUTO que tu écrira soit également lisible sur le forum, cela serai impec.
Ou à défaut, peux-tu mettre un lien vers ton wiki, ou autres de tes pages dans ta signature afin que l'on y accède facilement.

Bonne soirée,
Bien à toi,
Il n'y a pas de question stupide, il n'y a que des imbéciles qui ne posent pas de question !
RaspBerry Pi : 1 x B+ Raspbian 1 x RPI2 MiniBian
Mieux me connaître ? Regarder mon LinkedIn

Répondre

Retourner vers « Utilisateurs avancés »