Suport technique et veille technologique

LinuxFr.org : les journaux  -  Testez vos sauvegardes !

 -  Décembre 2021 - 

Sommaire

• Situation initiale
• Mise à jour du matériel
• Ajout d'un disque, fausse manip' et restauration
• Éclair de lucidité
• Redémarrage
• Moralité

Bonjour à tous

Après de nombreuses années à mouler anonymement, je crée un compte ici pour vous conter la mésaventure qui m'est arrivée.
Spoiler : ce qui est pire que l'absence de sauvegarde, c'est l'illusion d'avoir une sauvegarde.
(en plus, j'aime bien les journaux sur les sauvegardes!)

Situation initiale

Je ne suis pas informaticien de formation, ni de métier. A mes heures perdues toutefois je joue à l'adminsys sur tout ce qui a une connexion réseau dans ma maison.

Sur le LAN on retrouve :

• Un NAS (on en parlera plus loin) sur lequel je centralise un premier niveau de sauvegarde des machines, qui diffuse notamment quelques partages samba.
• 2 PC sous Windows 10 (je tiens plus à ma femme qu'à linux !) dont 1 centralisant toutes les photos de famille et les documents administratifs importants.
  • Ce sont ces données que je veut protéger !
  • J'utilise principalement la fonction "Sauvegarde des fichiers" de windows 10, qui est une sorte de TimeMachine (probablement moins bien, je n'ai pas de comparaison) qui me suffit amplement. En gros ça sauvegarde sur un partage samba du NAS tous mes fichiers, de manière historisée, et je peut remonter dans le temps par la fonction "historique des fichiers" intégrée au système. Les fichiers sont stockés en vrac dans l'arborescence du NAS, mais j'ai testé, si on utilise l'outil intégré dans Windows, on retrouve les données telles quelles. De plus, une install vierge de W10 et W11 peut explorer le partage (avec l'outil adéquat), j'ai testé en VM donc ça me convient.
  • J'utilise également Syncthing pour quelques dossiers, qui sont donc synchronisés en permanence sur le NAS et sur les différents ordis.
• 1 PC sous Ubuntu, pour bricoler, mais qui ne contient aucune donnée originale ou sensible.
  • Quasi rien dans le home, tout sur un partage samba pour pouvoir jouer à changer de distro quand ça me chante.
• 2 smartphones sous Android qui sont la source principale des photos de famille.
  • J'utilise Syncthing pour synchroniser automatiquement les photos sur le NAS et sur le PC W10 (lorsque je veut trier mes photos, la copie se fait en local sur le SSD du PC c'est super rapide). Ce n'est pas une sauvegarde, c'est juste une synchro pour simplifier les copies.

Mon NAS initial était un vénérable D-LINK DNS-320 famélique, avec un firmware alternatif histoire d'avoir un noyau linux pas trop moisi :

• CPU et RAM au ras des pâquerettes (de mémoire, 256 Mo de RAM, ARM 400 MHz.)
  • 1 disque de récup (dans un boitier USB) de 250 Go
  • 1 disque acheté pour l'occasion de 1 To, dans la baie
  • 1 disque acheté cet été de 3 To, installé dans la baie
• Le firmware donnant toute latitude pour bidouiller en ssh, le système RAID a été piloté par mdadm directement, comme suit :
  • 1 RAID1 sur 3 partitions de 250 Go (les 1res partitions des 3 disques), pour mes données les plus précieuses, donc tout ce qui est listé au dessus, les partages samba, etc. J'aime le concept du RAID1 sur 3 disques : si un disque crame, on est toujours protégé ! Ceinture et bretelles…
  • 1 RAID1 sur 2 partitions de 750 Go (les 2e partitions des 2 disques 1To et 3To) pour le 2e niveau de sauvegarde : sauvegarde historisée du RAID1 3 disques à l'aide d'un script intégré dans le firmware. Je me suis fixé comme règle de ne pas mettre de partage samba dessus, pour éviter toute vérole via le réseau. Accès uniquement via ssh si besoin de restaurer.
  • 1 partition de 2To non RAID, si besoin de stocker une grande quantité de données temporairement.

Cet été donc, pendant mes congés, je me suis mis en tête de passer sur un backup 3-2-1, donc d'ajouter un 3e niveau de sauvegarde hors site.
Mon dévolu se porte sur l'offre Object Storage de OVH (peu importe à vrai dire), et quelques scripts cron et rclone plus tard, je me retrouve avec une sauvegarde de ma partition de 750 Go en stockage objet.

Je réalise alors que mon vieux NAS est à bout de souffle :

• Très mal conçu, l'air ne circule pas dans le boitier et le ventilo tourne à fond en permanence. Problème car le NAS est dans mon garage non isolé, il y fait très chaud en été et clairement, les températures relevées n'étaient pas raisonnables (sans parler du problème d'avoir un truc qui tourne 24h/24 et qui fait autant de bruit).
• Le CPU bride les transferts, j'ai mis + 2 semaines à transférer le backup initial sur le Cloud, et après test un dd if=/dev/zero of=/dev/null me donne la même lenteur… Sachant que j'ai la fibre chez moi, j'enrage.
• Dans l'hypothèse du besoin d'une restauration, il me faudra de même 2 semaines pour restaurer mes données, que ce soit du cloud vers le NAS ou du NAS vers le PC…

Toutefois, je suis entièrement satisfait du mode de sauvegarde mis en place :

• Les PC synchronisent leurs diverses données sur les partages samba.
• Le NAS réalise l'équivalent d'un snapshot inaccessible du réseau 1x/semaine.
• Le NAS se sauvegarde sur le Cloud 1x/semaine.

Mise à jour du matériel

A la faveur d'une augmentation (merci patron !), et l'envie de se faire plaisir aussi, j'achète pendant les soldes d'automne un NAS 4 baies QNAP TS-421 plus moderne. Le choix de ce modèle se fait car :

• Je souhaite 4 baies pour pouvoir évoluer et pour me débarrasser de la baie USB utilisée précédemment.
• Ce modèle était en promo chez LDLC (raison principale !)
• Je voulait un modèle d'une grande marque pour éviter le bus factor = 1 dans ma famille. Si il m'arrive quelque chose, et que ma famille doit prendre le NAS en main, autant un réparateur informatique saura se débrouiller avec une marque, autant je n'ai aucune illusion sur sa maitrise de la ligne de commande sous linux, malheureusement…

Première surprise, l'interface web est d'une lourdeur sans nom (j'étais habitué à un firmware custom sur une brouette, donc quelques pages PHP ou statiques sans AJAX, et la flexibilité de la ligne de commande ssh…) mais je m'y astreint.
Après tout, c'est ce que les pros utilisent en entreprise, non ?
Le firmware QNAP n'autorisant pas les bidouilles à base de mdadm sur des portions de disque, je me laisse guider par l'installeur. Je vous passe les détails de la galère pour transférer des données quand le nouveau NAS veut absolument formater les disques avant de les utiliser, et que la seule solution c'est de passer par un transfert réseau qui prend 2 semaines (même si je meurt d'envie de vous la raconter !) car ce premier journal commence à être long.

Au final sur la bête :

• 1 RAID1 sur les 2 disques 1To et 3To, capacité utile 1To évidemment et le firmware ne me laisse pas toucher aux 2To inutilisés de mon gros disque.
  • Une couche LVM par dessus qui permet de créer des volumes séparés, et sur laquelle le firmware se base pour faire des snapshots visiblement (je ne maitrise pas du tout LVM et de toutes façons, je ne peut rien faire en ligne de commande sans planter le firmware qui a la main sur tout…).
• 1 disque seul de 250Go que je garde par principe (je dis non à l'obsolescence programmée).

Du point de vue des sauvegardes, le schéma devient le suivant :

• Chaque PC se sauvegarde sur un partage réseau comme d'habitude (Windows n'y a vu que du feu, si ce n'est que c'est beaucoup plus rapide !) sur le RAID1 1To.
• L'instance Syncthing est installée sur le disque seul de 250Go car les données y sont temporaires (tous les 3 mois je trie les photos et je les intègre dans les fichiers sauvegardés par Windows) ou non sensibles.
• Le NAS fait des snapshots 1x/semaine via LVM, ce qui me permettra de revenir en arrière si je me prend un ransomware dans le partage réseau (2e niveau de sauvegarde).
• Le NAS se copie de même 1x/semaine sur le stockage objet de OVH via l'utilitaire QNAP HBS3 Hybrid Backup Sync qui me permet théoriquement (spoiler!) d'avoir une sauvegarde historisée sur 4 semaines et de restaurer en quelques clics les données sur le NAS à partir d'internet si besoin.

Je suis content de moi, j'ai un nouveau joujou, je l'ai paramétré tout seul comme un grand. Je fait confiance aveugle en ce fabricant reconnu, le truc doit marcher tout seul, je reçoit une notification par mail si la sauvegarde marche et si la sauvegarde ne marche pas, bref, c'est un truc de pro (non ?).

Ajout d'un disque, fausse manip' et restauration

Arrive le Black Friday, ode à la consommation, qui tombe surtout pendant 2 semaines d'arrêt de travail (pour une intervention programmée, peu importe). Note à moi même : ne jamais être en congés pendant le Black Friday…
Bref, j'attendais ce moment pour acheter un disque de 3To, dans le but de remplacer le disque 1To et ainsi augmenter la taille utile de mon RAID1. De plus, le disque 1To pourra mirorer le disque 250Go, et ainsi je souhaite avoir 2 pools RAID1.
Sur le papier c'est simple…

• J'installe le nouveau disque dans la baie disponible. Ca fait bip bip, c'est bon signe.
• Je me connecte au clicodrome à l'interface utilisateur du NAS.
• Cool, il y a une option "remplacer les disques 1 par 1", je clique.
  • "Sélectionnez le disque à remplacer" : facile !
  • "Retirez le disque avant de continuer" : heu, t'es sérieux ? nope !
  • J'annule la procédure. Le truc veut sérieusement que je dégrade mon RAID1, pour le reconstruire sur le nouveau disque ? Et si le disque restant lâche pendant ce temps, je fait quoi ? Je suis un partisan du RAID1 à 3 disques moi à la base !
• Tient, il y a une option "migrer le RAID" qui me permet d'ajouter un disque. C'est ce que je veux : je passe sur un RAID1 3 disques, puis une fois le miroir répliqué, je repasse à 2 disques en virant le disque 1To, non?
  • Comme un âne, je lance la procédure sans lire la doc. Ca va prendre plusieurs heures de toutes façons.
  • Pendant la reconstruction, je fouille dans les détails de l'affichage, et je vois effaré : migration RAID5 en cours.
• Donc à cause d'une interface non claire, je me retrouve avec un RAID5 au lieu d'un RAID1 3 disques.
  • Impossible de rétrograder le RAID5 en RAID1 dans l'interface (pourtant, je sais que mdadm sait le faire…).
  • Tolérance aux pannes de 1 disque et non 2 disques, ça ne me plait pas…
  • Impossible dans ces conditions de mettre un RAID1 sur le disque de 250GO car je n'ai plus de disque disponible.
• Un petit tour sur le forum du fabricant me confirme que les gens de chez QNAP sont persuadés que le seul RAID possible avec 3 disques c'est le RAID5, les clients qui veulent faire du mirroring sur 3 disques c'est des cons ils n'y connaissent rien !

Je doit donc trouver moyen d'arriver à mes fins. Heureusement, j'ai une sauvegarde sur le cloud ! Il me suffit de tout effacer sur le NAS, de recréer mes RAID comme je le souhaite, puis de restaurer les données. Windows n'y verra que du feu…

Éclair de lucidité

"Et si la restauration ne fonctionne pas ?" On a tous une petite voix dans la tête qui nous sauve d'une erreur fatale, ce jour là elle m'a été fort utile…
C'est en effet une bonne idée de vérifier la restauration avant de tout effacer. Après tout, grâce au RAID5 mes données sont protégées malgré tout, et j'ai un peu d'espace disque supplémentaire. Donc je crée une partition avec LVM pour tester la restauration et je lance le processus le soir avant de me coucher.

Le lendemain matin : 1987 e-mails sur mon téléphone : impossible de télécharger le fichier [...]. Vous n'avez pas l'autorisation d'accéder à ce fichier. Vérifiez les autorisation d'accès.. J'ai connu des réveils plus sympas…
Je tente de me connecter au NAS : l'interface web ne répond pas.
Je tente de me connecter en ssh : timeout.
J'actualise ma boite mail : 200 mails supplémentaires. Visiblement il continue le bougre !
Je passe dans le garage : les disques ne grattent pas. Je tente d'arrêter le NAS via le bouton en façade (qui doit arrêter les services et démonter proprement les disques) : aucune réaction.
De panique (suis-je en train de me faire cryptolocker?), je coupe l'alimentation du NAS.

Redémarrage

Je redémarre, et la goutte au front, j'attends l'initialisation de l'appareil, si toutefois il accepte…
Résultat : l'interface apparait, mais tout est en erreur, le système n'a plus d'espace disque. Les partages ne se montent pas, et les systèmes de fichiers sont en "lecture-effacement".
Visiblement, le merveilleux outil HBS Hybrid Backup Sync a pollué avec des fichiers temporaires la partition où il était installé, et il s'est bloqué tout seul le con ! Il n'y a pas à dire, QNAP c'est du matos de pro (ironie). Aucune option pour supprimer les fichiers temporaires dans HBS…
Je me connecte en ssh, impossible de trouver où il stocke ces fichiers. Il n'y a même pas les coreutils installés, dont je ne peux rien chercher confortablement en ligne de commande.

Je décide alors d'agrandir largement la partition dédiée (merci LVM) et de retenter une restauration.
Après une journée d'angoisse (pas osé le refaire la nuit), le sacro-saint e-mail de notification "Restauration terminée" m'arrive au boulot. Ouf.
En prime, l'outil a supprimé ses fichiers temporaires, y compris ceux de la tentative échouée précédemment.

Bref, j'en profite pour vérifier avec une VM que la sauvegarde est bien navigable par Windows, et je remet mon plan à exécution.

• Suppression du RAID5 et des partitions associées.
• Création d'un RAID1 avec mes 2 disques de 3 To.
• Migration (cette fois c'est le bon terme!) de mon disque 250Go vers un RAID1 à l'aide de mon disque de 1 To.
• Restauration des données à l'aide de HBS (on croise les doigts… ouf ça passe !)
• Réactivation du partage de fichiers, pour reprendre la sauvegarde Windows qui traine depuis 2 semaines maintenant.

Ouf !

Moralité

Ce qui suit n'engage que moi, toute discussion est bienvenue en commentaires !

• Toujours, toujours, toujours (!) tester son système de sauvegarde. J'ai failli me retrouver à poil à cause d'une confiance aveugle en des outils manifestement codés avec les pieds (et je reste poli).
• Toujours, toujours, toujours (!) privilégier les sauvegardes lisibles sans outil particulier.
  • Prochaine étape, se débarrasser de l'outil bugué HBS pour un bon vieux rclone sur le Cloud sans déduplication ni compression (vu le prix au Go, je ne vais pas me priver).
  • Ensuite, envisager de se débarrasser de l'outil Windows, car visiblement il est déprécié dans W11, et ça je ne l'avais pas vu venir !
• Pour mon prochain NAS, ce sera du home-made avec une Debian, tant pis pour le bus factor. Le clicodrome pour débiles de chez QNAP ne donne aucune maitrise sur ce qui se passe sur les disques, la société prend des décisions pour nous (interdiction du RAID 1 à 3 disques, obligation de dégrader le RAID pour changer les disques…) indignes d'une telle entreprise.

Et surtout, surtout, je m'interroge : vous les vrais IT, vous utilisez quoi au boulot ? Ce genre d'interface buguée ne vous pose pas de problèmes ? Je suis conscient qu'un NAS 4 baies ne convient pas à une grande entreprise, mais dans les PME il me semble qu'il a toute sa place… et la même interface se retrouve sur les NAS plus gros de la marque !

En tout cas, merci de m'avoir lu jusque là (si vous y êtes arrivés !).

Commentaires : voir le flux Atom ouvrir dans le navigateur

par super-chemist