Forum Musique-Libre

Bonjour,

Une petite question technique, comment se déroule les sauvegardes des serveurs Dogmazic ? Que se passe-t-il en cas de problème ? Cette question n'est pas due à la dernière panne, c'est juste savoir qu'est-ce qu'il advient de l'archive Dogmazic si quelqu'un s'en prendrai à elle, en informatique il faut imaginer le pire, autant poser la question.

Nous savons que pour qu'une oeuvre perdure dans le temps, il faut qu'elle soit copiée le plus de fois possible à des endroits différents, autrement dit que beaucoup de gens la possèdent, dès lors, est-ce que ce serait possible d'en obtenir une copie ?

Enfin je pense que c'est une question assez capitale dont je n'ai pas trouvé réponse, est-ce qu'une copie se fait dans les locaux de l'association, est-ce incrémental, quelle périodicité ? Sur quel support ? Comment sont enregistrés les morceaux sur le serveur ? Bref, je suis sûr que nous pouvons vous faire confiance au comité, mais être informé de ce point me paraît essentiel.

Merci des réponses.

Si on va sur le site de OVH, puisque, d'après ce que j'ai compris, c'est là que se trouvent les serveurs de D., on voit que la sécurité repose sur la redondance des machines. Ils ne parlent pas de système de sauvegarde faite par leurs soins.
Sinon, ça me fait penser que ce qui serait bien, ce serait que les fichiers dans les archives de D. soient échangés avec ceux d'autres sites similaires. Cela résoudrait le problèmes de la sauvegarde et en plus ça nous permettrait de découvrir d'autres musiques et ça diffuserait notre musique plus largement. Les licences utilisées ici permettent ce genre de transactions, non ?

jp

Hmm, je viens de faire un whois, et pas de serveurs de nom chez OVH mais chez Gandi :

Domain Name: DOGMAZIC.NET
Registrar: GANDI SAS
Whois Server: whois.gandi.net
Referral URL: http://www.gandi.net
Name Server: A.DNS.GANDI.NET
Name Server: B.DNS.GANDI.NET
Name Server: C.DNS.GANDI.NET
Status: clientTransferProhibited
Updated Date: 12-jun-2010
Creation Date: 22-jun-2006
Expiration Date: 22-jun-2011

Je suis sûr que le comité a une sauvegarde, tout au plus il y en a une sur les Automazic puisqu'elles ont le catalogue

Bonne idée, ça, la duplication des morceaux. Effectivement, plus il y aura de copies et moins l'archive sera vulnérable.

Je loue moi-même un serveur, sans en utiliser la totalité de l'espace disque. Et du coup je viens de penser à truc, comme ça... On pourrait imaginer un formulaire, sur Dogmazic, dans lequel des gens pourraient venir proposer de l'espace disque pour l'archive. Lorsqu'un morceau est ajouté sur Dogmazic, il reste de toute façon enregistré sur l'archive officielle, mais il pourrait, en plus, être copié ici et là, en fonction des espaces proposés par les autres.

Le formulaire pourrait demander quelques infos comme un login et un pass pour un serveur FTP par exemple, ainsi qu'un quotas d'espace disque que la personne serait prête à mettre à disposition.

bon... y'a peut-être mieux à faire pour s'organiser, et ça demande bien sûr du boulot pour la mise en place. Enfin sachez que si ce genre de truc se développe, j'ai de l'espace à proposer !

Un accès FTP c'est déconseillé, la transmission se fait en clair sur le réseau, il faut préférer un accès SSH, souvent appelé SFTP pour le transfert de fichier.

Hmm, plusieurs idées me viennent à l'esprit concernant ta proposition, cela dépend ensuite de plusieurs choses, est-ce que Dogmazic est hébergé sur un dédié (je suppose) ou sur un hébergement simple ?

Pour faire de la réplication, à titre de sauvegarde ou de mutualisation des ressources, il y a deux possibilités :

Unidirectionnelle :

Utiliser un logiciel comme Rsync pour faire des miroirs de l'archive, tous les clients téléchargent l'archive chez Dogmazic.

+ Rapide
+ Peu consommateur de BP, ne transfert que les fichiers nouveaux ou modifiés
+ Facile à configurer
+ Possibilité de faire les transferts la nuit
- Si beaucoup de personnes veulent une copie de l'archive, la BP sera trop utilisée
- Ralentit le trafic général de Dogmazic ou de l'archive

Méthode pair-à-pair

A étudier, un système BitTorrent serait trop lourd, il faudrait une méthode comme Rsync qui fait juste une comparaison des fichiers et n'envoie que le nécessaire, sous forme compressée si besoin, si on est plusieurs à le faire, il faut qu'on s'organise en chaîne, un qui télécharge du serveur, puis envoie à un autre, et ainsi de suite, il faut cependant que chaque noeud tienne, et plus un noeud est loin du serveur, plus l'archive aura de la latence à se mettre à jour. J'ai fais des recherches, je n'ai pas encore trouvé de système comme Rsync pour du décentralisé.

La première solution est à envisager si les clients doivent servir de miroir, la deuxième est plutôt orientée si cela n'est que pour la sauvegarde de l'archive.

A mon humble avis, on est peut à se soucier de cela sur Dogma, mais au lieu d'un formulaire on peut simplement se configurer un Rsync entre nous, qui a un dédié ici ?

qui a un dédié ici ?

ben moi j'en ai un

Mais je suis à mon avis bien loin de l'espace disque nécessaire pour une réplique complète de l'archive (*)

Je serait par contre ravi d'en mettre une partie à dispo pour participer à une réplication de l'archive. Par contre, je bidouille, hein. je sais installer et configurer grosso-modo du Apache et quelques autres trucs, mais c'est vraiment à l'arrache. Rsync, je connais de nom mais c'est à peu près tout ^^.

(*) d'ailleurs, elle fait combien, cette archive, en espace disque, ça représente quoi (si un admin a des précisions là-dessus) ?

Hello,

Perso j'ai pas de dédié, je suis plus pour l'auto-hébergement, donc j'ai mon serveur chez moi, il va avoir une capacité de 1 To prochainement, mais j'ai 3 disques de 1 To chacun que je n'utilise pas, où il serait possible de faire du stockage à titre de sauvegarde, pas de miroir, je n'ai pas la bande passante nécessaire.
Pour ma part je fais aussi du Apache, PHP, SQL, des choses du genre, je m'attaque à divers services serveurs afin d'utiliser pleinement mon serveur et par exemple faire en sorte que mes mails soient chez moi et pas chez Google.

Pour Rsync, il est très simple comme logiciel, voici par exemple la séquence que j'ai à faire pour transférer/sauvegarder mon dossier de musique sur mon serveur : -a = mode archivage
-v = verbose, indique les fichiers copiés et les erreurs
-e = Choix du remote shell, ssh par défaut
« debianserv » représente le nom de la machine sur mon réseau local, enfin dans mon fichier /etc/hosts
Si tu veux plus d'infos, comme d'hab, lire le man.

Ma proposition tient toujours...

Et aux dernière nouvelles, ça se met en place petit à petit :

http://www.dogmazic.net/modules.php?Mod ... pic&t=6891

Le script utilisé est un simple script bash, ni'mporte qui qui sait comment en lancer un et qui a de l'espace disque peut archiver l'archive chez lui.

D'après ORL à la dernière AGE, l'archive complète ogg+mp3 pèse dans les 1 tera. D'après mes estimations, l'archive complète en mp3 pèse dans les 500 gigas.

Quasiment tout les morceaux sont présents en mp3 dans l'archive. Quelques rares morceaux ne sont présent qu'au format ogg. Beaucoup de morceau sont dispo dans ces deux formats.

Le script fonctionne de manière incrémentielle... Une fois qu'on a un backup complet, on peut le laisser tourner, et seuls les nouveaux morceaux seront téléchargés.

C'est non compressé pour les transfert. Une compression supplémentaire serait juste une perte de temps CPU, car les fichiers mp3 et ogg sont déjà compressés. Pas besoin de chiffrage non plus juste pour télécharger des fichiers audio, ça fait des ressources d'économisées.

Si vous voulez archiver les données texte du site, une partie est dispo au format JSON :

http://sandbox.dogmazic.net/brut/list.php

ça contient (de mémoire) les noms des morceaux, l'artiste, l'album, le label, la note moyenne, le nombre de stream et de téléchargements, le commentaire laissé par l'artiste sur le morceau, les différents ID, la date d'inscription, l'éventuelle date de composition, entre autre. Actuellement ça pèse dans les 45 mégas. Plus d'infos ici :

http://sandbox.dogmazic.net/brut/doc.html