Pour nous contacter : soyez au rendez-vous sur IRC ! ⋅ Parcourir l'archive musicale Dogmazic ⋅ Notre Blog
Notre Documentation
Notre Documentation
La grande histoire des preux archiveurs de l'archive
Enfin, ce que j'en sais... Pour les développements de cette histoire avant 2011 je n'en sais rien, mais depuis, pour résumer :
-à l'été 2011, suite au crash de disque dur qui a entraîné la perte de certaines données, j'ai codé un petit script bash (utilisable sous Linux ou autre Unix comme BSD ou Mac Os ; utilisable sous Windows via une couche d'émulation du genre Cygwin)... Ce script est conçu pour tourner en boucle, et télécharge l'intégrale de l'archive, puis les nouveaux morceaux au fur et à mesure de leur publication. On peut l'interrompre à tout moment et le relancer plus tard, il reprend là où il s'était arrêté. À l'époque, j'avais posté le script directement sur le forum de DZ.
L'intérêt d'une telle dissémination massive, c'est que ça assure plus ou moins que dans les siècles futurs, il y aura des copies de l'archive partielles ou totales disponibles pour les gens de cette lointaine époque. Enfin, c'est ce que j'espère.
-au printemps 2012, le preux Albert34 a posté sur le forum, il cherchait à télécharger massivement, je lui ai parlé de mon script, et depuis, au dernière nouvelles, il archive l'intégrale de l'archive.
-immédiatement après, j'ai mis le script en ligne sur Sourceforge, et depuis il est téléchargé un peu plus d'une fois par semaine. Le pays numéro 1 pour les téléchargement du script, c'est la Chine.
-tout récemment, en reparlant de tout ça sur le chat #dogmazic sur le réseau IRC Freenode, je me suis mis à y repenser, et du coup j'ai lancé le script chez moi, je suis en train d'archiver l'archive, avec mon ADSL 1,5mbps il me faudra encore bien des jours pour tout récupérer (je récupère les mp3 uniquement - d'après mes calculs l'intégrale de l'archive en mp3 pèse moins de 500 gigas. Elle comporte plus de 50 000 morceaux).
Si vous voulez vous lancer aussi, le script se télécharge ici :
http://sourceforge.net/projects/dogbackup/
Et hésitez pas à venir poster ici, qu'on recense un peu qui fait ça, ça peut être sympa.
(au niveau de l'impact environnemental d'une telle démarche, j'ai tendance à penser que c'est une goûte d'eau dans l’océan comparé à tous les gens qui utilisent les ressources en transfert et en stockage disponibles sur notre planète pour disséminer du Madonna ou des blockbusters d'Hollywood)
-à l'été 2011, suite au crash de disque dur qui a entraîné la perte de certaines données, j'ai codé un petit script bash (utilisable sous Linux ou autre Unix comme BSD ou Mac Os ; utilisable sous Windows via une couche d'émulation du genre Cygwin)... Ce script est conçu pour tourner en boucle, et télécharge l'intégrale de l'archive, puis les nouveaux morceaux au fur et à mesure de leur publication. On peut l'interrompre à tout moment et le relancer plus tard, il reprend là où il s'était arrêté. À l'époque, j'avais posté le script directement sur le forum de DZ.
L'intérêt d'une telle dissémination massive, c'est que ça assure plus ou moins que dans les siècles futurs, il y aura des copies de l'archive partielles ou totales disponibles pour les gens de cette lointaine époque. Enfin, c'est ce que j'espère.
-au printemps 2012, le preux Albert34 a posté sur le forum, il cherchait à télécharger massivement, je lui ai parlé de mon script, et depuis, au dernière nouvelles, il archive l'intégrale de l'archive.
-immédiatement après, j'ai mis le script en ligne sur Sourceforge, et depuis il est téléchargé un peu plus d'une fois par semaine. Le pays numéro 1 pour les téléchargement du script, c'est la Chine.
-tout récemment, en reparlant de tout ça sur le chat #dogmazic sur le réseau IRC Freenode, je me suis mis à y repenser, et du coup j'ai lancé le script chez moi, je suis en train d'archiver l'archive, avec mon ADSL 1,5mbps il me faudra encore bien des jours pour tout récupérer (je récupère les mp3 uniquement - d'après mes calculs l'intégrale de l'archive en mp3 pèse moins de 500 gigas. Elle comporte plus de 50 000 morceaux).
Si vous voulez vous lancer aussi, le script se télécharge ici :
http://sourceforge.net/projects/dogbackup/
Et hésitez pas à venir poster ici, qu'on recense un peu qui fait ça, ça peut être sympa.
(au niveau de l'impact environnemental d'une telle démarche, j'ai tendance à penser que c'est une goûte d'eau dans l’océan comparé à tous les gens qui utilisent les ressources en transfert et en stockage disponibles sur notre planète pour disséminer du Madonna ou des blockbusters d'Hollywood)
Réponses
Dogmazic stocke deux choses, sur deux serveurs différents :
-les morceaux eux-même, sur arch4.musique-libre.org
-les données en rapport avec les morceaux (artiste, titre, album, note, etc etc), dans la base de données de Dogmazic, sur un serveur différent.
Si c'est arch4 qui a un problème, on peut récupérer les morceaux direct chez l'un ou l'autre des preux archiveurs, sans aucun souci.
La probabilité d'un nouvel incident de l'ampleur de celui de juin 2011 est très faible. C'est à cause d'une erreur que les sauvegardes régulières avaient été désactivées, depuis les sysadmins y font très attention et un barebequeupe de l'archive est régulièrement mis à jour.
Il est à mon avis impératif que plusieurs (minimum deux) personnes de l'asso ne touchant pas aux serveurs aient une copie à jour de l'archive, pour prévenir des crashs comme nous avons eu précédemment. J'ai un serveur avec 1 To (voir plus) de disponible pour faire office de sauvegarde mais pas de réponse des sysadmins. J'ai remonté mon sujet d'origine.
Il serait à mon avis aussi nécessaire de faire une sauvegarde de la partie HTML/PHP/SQL du site, quid de ce qu'il advient de Dogmazic si ça crash ?
Perso, je peux pas me permettre d'archiver à la fois le mp3 et le ogg, je n'archive que le mp3. Les morceaux présents uniquement en ogg sont plus rares que le Dodo (d'ailleurs je vais m'en boire une. De Dodo).
(pour couper court à toute demande de précision : le Dodo est un oiseau marcheur endémique dans l'ocean indien. Il a disparu, je crois, au 18ème siècle. La Dodo est le surnom de la Bourbon, une bière brassée à la Réunion qui fête ses 50 ans cette année et a gagné de nombreuses médaille. Elle est pas super facile à trouver dans les magasins en métropole, mais ça vaut le coup d'y passer un peu de temps)
Merci de la précision shangril.
Pour le PHP/SQL je sais pas, mais pour les données textuelles associées aux morceau, comme je le disais dans l'autre fil, il y a l'API de dogmazic qui renvoie les données au format JSON :
Pour ce qui est de la version HTML du site, avec n'importe quel gestionnaire de téléchargement qui propose une fonction "aspirateur de site" on peut faire une copie du site complet sans l'audio à un instant t (messages sur le forum, pages artistes, pages albums... Tout le site sauf l'audio, et bien sûr les fonctions dynamiques comme le moteur de recherche ne fonctionneront pas dans l'archive HTML téléchargée)