Pour nous contacter : soyez au rendez-vous sur IRC ! ⋅ Parcourir l'archive musicale Dogmazic ⋅ Notre Blog
Notre Documentation
Notre Documentation
[Annonce/Appel] Crash des disques sur le serveur
Salut,
Désolé de n'être pas revenu donné des nouvelles plus tôt, mais il y avait plus urgent à faire.
Donc, suite aux déboires expliqués dans un précédent post sur un contrôleur de disque parti dans le mur, voici où nous en sommes :
- malgré les tentatives de Jérôme, et un moment de lueur d'espoir de quelques heures, le contrôleur est reparti dans le mur et les disques en l'état actuel ne sont plus utilisables,
- suite au crash disque en Juillet, une sauvegarde avait été faite et une routine permettant sa mise à jour avait été mise en place, mais suite à ce nouveau crash, cette sauvegarde n'est plus utilisable,
- nous disposons d'une sauvegarde plus vieille, à laquelle manqueront entre 5000 et 10000 fichiers,
- Pragmazic dispose de l'intégralité des morceaux des artistes qui n'ont pas décoché l'option "j'autorise la diffusion de ma musique sur les bornes Automazic".
Voilà pour le constat.
Nous avons désormais deux choix :
1. Repartir sur un nouvel ensemble de disques, grappe RAID et système de fichiers, et rapatrier la sauvegarde que nous avons ainsi que les fichiers dont Pragmazic dispose. Nous sommes en train de dresser la liste exacte des fichiers qui seront perdus suite à une telle manipulation (c'est pas simple).
2. Tenter une récupération de données via les services de la société Diskcard. Nous avons un peu discuté avec eux, ça n'est pas désespéré, mais pas garantie, et, en tout état de cause, ça prendra du temps, ce qui implique une nouvelle paralysie de l'archive et de l'argent (même si DiskCard fonctionne sur un principe de prix libre), c'est-à-dire un appel aux dons. Encore une fois, rien n'est garanti à l'issue de cette manip.
En tant que CA, cette décision est très délicate à prendre, et nous aimerions votre avis sur la question. Nous ne diffuserons pas la liste des morceaux potentiellement perdus avant de faire un choix entre l'option 1 et l'option 2, afin que votre choix soit réellement un choix au sens de la communauté, i.e. de l'archive tout entière.
Nous sommes évidemment désolés d'en arriver là, et espérons être en mesure de mettre tout ça à plat très bientôt.
Le déménagement vers un nouveau système de serveurs devrait arriver bientôt.
Donc, et pour conclure, plus que jamais, nous avons besoin d'une vraie dynamique associative donc nous comptons sur vous pour le 5 Novembre !
Votre dévoué CA !
PS : le sondage dure jusqu'à Vendredi
Désolé de n'être pas revenu donné des nouvelles plus tôt, mais il y avait plus urgent à faire.
Donc, suite aux déboires expliqués dans un précédent post sur un contrôleur de disque parti dans le mur, voici où nous en sommes :
- malgré les tentatives de Jérôme, et un moment de lueur d'espoir de quelques heures, le contrôleur est reparti dans le mur et les disques en l'état actuel ne sont plus utilisables,
- suite au crash disque en Juillet, une sauvegarde avait été faite et une routine permettant sa mise à jour avait été mise en place, mais suite à ce nouveau crash, cette sauvegarde n'est plus utilisable,
- nous disposons d'une sauvegarde plus vieille, à laquelle manqueront entre 5000 et 10000 fichiers,
- Pragmazic dispose de l'intégralité des morceaux des artistes qui n'ont pas décoché l'option "j'autorise la diffusion de ma musique sur les bornes Automazic".
Voilà pour le constat.
Nous avons désormais deux choix :
1. Repartir sur un nouvel ensemble de disques, grappe RAID et système de fichiers, et rapatrier la sauvegarde que nous avons ainsi que les fichiers dont Pragmazic dispose. Nous sommes en train de dresser la liste exacte des fichiers qui seront perdus suite à une telle manipulation (c'est pas simple).
2. Tenter une récupération de données via les services de la société Diskcard. Nous avons un peu discuté avec eux, ça n'est pas désespéré, mais pas garantie, et, en tout état de cause, ça prendra du temps, ce qui implique une nouvelle paralysie de l'archive et de l'argent (même si DiskCard fonctionne sur un principe de prix libre), c'est-à-dire un appel aux dons. Encore une fois, rien n'est garanti à l'issue de cette manip.
En tant que CA, cette décision est très délicate à prendre, et nous aimerions votre avis sur la question. Nous ne diffuserons pas la liste des morceaux potentiellement perdus avant de faire un choix entre l'option 1 et l'option 2, afin que votre choix soit réellement un choix au sens de la communauté, i.e. de l'archive tout entière.
Nous sommes évidemment désolés d'en arriver là, et espérons être en mesure de mettre tout ça à plat très bientôt.
Le déménagement vers un nouveau système de serveurs devrait arriver bientôt.
Donc, et pour conclure, plus que jamais, nous avons besoin d'une vraie dynamique associative donc nous comptons sur vous pour le 5 Novembre !
Votre dévoué CA !
PS : le sondage dure jusqu'à Vendredi
Réponses
Personnellement, j'ai toujours les sources de tous mes projets, je prendrais le temps de les remettre en ligne, mais ce n'est surement pas le cas de tout le monde, est-ce qu'on ne risque pas de perdre des données de groupes plus en activité, donc qui ne remettrons pas leur ziq ?
Pas facile tout ça ...
Il faudra juste balancer le petit mail qu'Equilibre et d'autre concoctent pour expliquer tout ça à tout ceux qui ne consultent pas le forum
En fait tout ceux dont les gestionnaires ont autorisé leur diffusion sur les bornes.
Et qui était actifs sur dogmazic.
J'imagine 80 à 90% des archives.
Dans la base de données, on peut trouver les mails des artistes n'ayant pas autorisé la diffusion sur les bornes et leur demander de bien vouloir uploader à nouveau leurs titres (avec toutes les excuses qui vont avec).
Et en même temps on voit ce qui est récupérable.
Cette copie sera néanmoins longue (prévoir une semaine je crois).
Il faut s'assurer de tout mettre bien en place sur les nouveaux disques,
mais le plus tôt ça sera commencé ...
Si derrière la récup il y a des heures de taf pour corriger des noms de fichiers incomplets qu'on a récupéré, ou vérifier l'intégrité des données ou autre ...
C'est cornélien comme choix. À chaud, j'aurais envie de dire, je n'ai pas d'opinion.
Bonne journée
c'est vrai sinon, que la remarque de Zeco sur les groupes plus actifs est pertinente. en même temps, c'est pas non plus comme si dogma était une société qui se faisait des thunes sur l'hébergement. Je comprend que le risque de perdre quelques perles soit frustrant, mais l'asso n'a pas non plus de devoir concernant une garanti d'hébergement. ML fonctionne sur les dons, hein, et sur le dévouement acharné de quelques passionnés. donc si y'a moyen d'en récupérer même 50%, c'est déjà magnifique je trouve.
Et donc perso j'ai opté pour restauration de la sauvegarde car la recuperation de disque foireux c'est foireux entre autre risque de pourrir la base avec des erreurs ou des morceaux avec des micros coupures dedans par exemple. Et surtout on upload des mp3 donc a part pour ce qui est des titrages et info connexe en principe la plupart des contributeurs ont des masters non compressés ?
Pour les morceaux sous licence c reaction qui ne seraient pas restaurés (Je suis désolé je n'ai pas l'archivage complet juste 1700 morceaux donc hélas pas les derniers 2000 publiés) si ça peu aider c'est possible de verifier si ils sont dispo dans mon archivage, facile a télécharger avec le soft de partage Soulseek user "edend"..........
je crois que ce sondage est quand même un peu biaisé, à cause de son orientation euh comment dire : son esprit télématique !... 8) pourquoi les fichiers (hors backup automazic donc) seraient-ils irrémédiablement perdus tels que pour tenter de les récupérer, il n'existerait pas d'autres choix que ceux proposés : soit la coûteuse tentative de récupération du HDD, soit l'abandon... On dirait qu'internet n'existe pas. que le principe de dissémination de la musqiue libre n'existe pas, que personne n'a téléchargé les ziks sur leurs HDD, que personne ne les a échangés sur les réseaux P2P etc. etc. Bon, bien sûr, peut-être que les fichiers en question n'ont pas été beaucoup disséminés, peut-être ont-ils même été renommés.... mais ne même pas tenir compte du fait que la musique libre, ça se dissémine. ben je trouve ça un peu bizarre :roll: ... Le CA propose un choix centralisé et vertical alors qu'il pourrait proposer de rechercher des solutions dans une vraie approche libre, ouverte, coopérative, dentritique : recherche collective et mise en oeuvre de moyens (pas forcément sophistiqués d'ailleurs) qui non seulement tiennent compte des spécificités de la réalité de ce à quoi on croit (enfin si on y croit !), mais aussi du coup l'augmente, la renforce...
enfin bon... :arrow:
+1 c'est pour ca que j'ai voter pour le choix n°1.
de plus ca peut epargner a l'equipe de perdre du temps sur une hypothetique recuperation de donnée.
tous les artistes ont au moins une sauvegarde de leurs zics. On utilise pas dogma comme disque dur en ligne...
Surtout si 80 à 90% sont récupérables et listables sur pragmazik et que le boulot de remise à jour/re-upload est finalement partagé entre les différents intéressés.
Pour ce qui est de l'option 2 et ce que j'en pense:
- Le job de récupération de données est souvent apparentable à ce qu'on appelle "racket"
- En cas de réussite (contre salaire de ?) il faudra ensuite au minimum vérifier l'état des archives, si la récupération n'est que partielle, en faire un 2ème inventaire...
- La gestion de tout ça et la communication qui devrait s'en suivre via les membres (donations, explications,...) représente de plus longs délais et une surcharge administrative un peu vaine à lancer dans le doute le plus complet.
Rappelons-nous que ce qu'on stocke ici et qui là fait mine de s'être perdu, ce sont avant tout des octets! Même s'ils véhiculent des chefs-d'oeuvres ils restent la "chose" la plus vulgaire et cheap qui "soit" dans ce monde de consommation et d'obsolescence programmée. Les musiques sont supposées survivre à ce genre de déboire (inévitable tôt ou tard même chez soi!) sinon elles n'avaient peut-être qu'un caractère fugace ?
Tous au ré-up !!!
Pour info, très probablement, la plupart des morceaux qui ne sont pas dans les sauvegardes sont plutôt des morceaux récents (plus récents que la sauvegarde), donc pour les ceusses qui nous auraient quitté, a priori, pas de souci.
Désolé si le choix du sondage ne semble pas bon, je suis prêt à l'amender si vous me proposez des options supplémentaires, mais il est aussi question d'aller au plus vite, autant que possible.
Mais je note que la quasi totalité du public préfère une restauration rapide et certaine, quitte à perdre des morceaux, à une restauration plus longue qui permettrait d'avoir plus de morceaux, quoique ce soit absolument pas garanti.
Bon courage à tous et toutes.
Je suis comme le temps, mitigé, même si j'étais assez pour la deuxième option, je revois un peu mon jugement.
1ère solution :
Avantages :
- Coût réduit (l'asso n'est pas riche, enfin... pas encore :P )
- Rapidité
- Moins de travail administratif puisque restauration en interne
- Récupération à partir des bornes Pragmazic
Désavantages :
- Perte importante de l'archive (à relativiser cependant)
- Perte d'utilisateurs vu l'ancienneté de la sauvegarde ?
- Nécessité pour les utilisateurs de renvoyer les morceaux
2ème solution :
Avantages :
- Plus de morceaux récupérés donc un meilleur retour à la normale
- Moins de travail des utilisateurs pour renvoyer à nouveau les fichiers sur le serveur
Désavantages :
- Frais élevés pour l'association (même si je suis prêt à mettre une somme selon le potentiel de la possible récupération de l'archive)
- Temps de récupération un peu plus long, mais la patience est la mère des vertus
Disons que j'ai de la peine à faire un choix, j'aimerai me rendre compte de ce que le contrôleur de disque a fait, si il a enrayé les disques assez fortement ou si c'était juste un plantage léger mais qui chamboule tout, vous avez très probablement essayé avec des outils genre TestDisk ?
Sinon la commande dd avec un tube pour faire une copie via le réseau des disques posant problème pour copier bit par bit et évaluer ce qu'il reste tout en remettant en fonction l'archive ? Bon c'est trop gros si on a pas du gigabit aux deux bouts...
Il pourrait y avoir une troisième possibilité, qui pourrait fonctionner si l'hébergeur coopère, changer les disques du serveur et aller chercher ceux qui sont endommagés, ainsi on remet une bonne partie de l'archive en fonction avec le backup du mois de mars et celui de Pragmazic. L'archive redeviendrait relativement fonctionnelle et on pourrait analyser les disques dans le temps, le seul inconvénient est qu'il faut acheter une deuxième paire de disque.
Les disques durs foireux ça me rappelle bien quelque chose, et d'ailleurs il faut que je fasse les miennes de sauvegarde, en revanche j'aimerai vraiment pour la suite une fois que l'archive aura repris qu'il y aie une politique de sauvegarde pointilleuse de l'archive, ainsi que du forum et du site, à cela je suis prêt à mettre la main à la pâte, que ce soit pour les réflexions de mise en place et pour la mise à disposition de matériel de sauvegarde, j'ai quelques disques de grosse capacité que je n'utilise plus ainsi qu'un serveur qui tourne en permanence qui serait capable de faire office de sauvegarde régulière (le serveur étant chez moi, je peux lui rajouter autant de mémoire que nécessaire sans coût mensuel exorbitant).
Salutations, merci de votre travail les gens derrière la console.
Parce que si c'est pour tout réinstaller sur un truc qui peut re-merder à tout moment... pas envie d'y passer des heures.
Tant qu'à tout réinstaller, autant aussi voir si l'offre serveur est encore d'actualité (rapport service / prix), parce que prendre une nouvelle machine, ça va très vite et ça peut éviter les emmerdes à répétition sur un matos foireux (un disque avait déjà lâché sur ce serveur en début d'année, ça commence à faire beaucoup sur une même machine).
Bref, si l'option "on réinstalle tout" est retenue, donnez-moi le top et je m'en occupe, j'ai encore les pass, l'accès à la sauvegarde, l'accès aux morceaux sur pragma, et de vagues souvenirs sur le fonctionnement des scripts qui doivent tourner sur le serveur archive.
- la matrice RAID est devenue incohérente,
- [mode Daniel Prevost]les systèmes de fichiers sont pétés[/mode].
Du coup, pour dd, on a déjà tenté, lorsque le contrôleur a bien voulu remarché, la première fois, le premier réflexe de Jérôme (après un fsck) a été de lancer une sauvegarde de sécu. C'est pendant cette sauvegarde (à 0h50 pour être précis) que le contrôleur est reparti dans le mur...