Dogmazic et Bittorent

[dudumomo]

Bonjour a tous,
Equilibre nous a fait part (A la communaute Freetorrent, un tracker pour contenu libre) de son idee.
En tant que membre du groupe OGG et Seed OGG de Jamendo, dont je participe de moins en moins, pour diverses raisons, notamment le manque de communication avec les admins...
Voici ce que j'ai ecrit sur le forum de Freetorrent:



Salut Equilibre,
Je suis content que d'autres personnes pensent a cela.

Je fais parti du groupe OGG de Jamendo et je suis tres implique pour le partage en torrent de leurs albums OGG.
Malheureusement, je suis de moins en moins fan de Jamendo (Qui s'eloigne de plus en plus de la communaute, mais je leur souhaite tout de meme de reussir) et surtout du manque de support de leur part.

On en a deja beaucoup parle avec quelques membres de Jamendo et voici ce que vous faisons et voulons faire (Mais pas possible en raison de leur manque de support comme indique)

- J'utilise un script en python () pour telecharger tous les albums disponible sur leur serveur en OGG et ainsi que le torrent qui va avec, le tout se decompresse et va dans mon dossier torrent pour partager automatiquement.
Dans le cas de Dogmazic (Dont je sens que je vais me rapprocher sur ce point), un script du meme genre est tout a fait possible, il faudra rajouter la creation du torrent, base sur le nom du fichier j'imagine?

- Pour la solution tracker....pourquoi ne pas utiliser Freetorrent, si l'admin est okay?
Ainsi, pas besoin de s'embetter avec la creation et la maintenance d'un tracker.
Sinon, tout depend de ce que vous voulez faire. J'imagine qu'il est preferable d'avoir juste un lien torrent par fiche d'album et inutile d'avoir tout une interface derriere non?

- Pour seeder j'utilise Deluge torrent sur mon PC principal ainsi que sur mon serveur avec interface Web. Il est tres performant, simple a installer et a utiliser.
Sinon, il y a transmission, mais je ne suis pas fan (Il bouffe pas mal en ressource, plus que deluge qui est pourtant assez gros, et des performances bof bof), certains utilisent le client stand bitorrent, pour des options comme la limite de bande passante automatique mais sinon, le plus performant de tous est Rtorrent (En ligne de commande), il existe des interfaces Web (Rutorrent, Wtorrent, etc..) mais je ne suis pas fan de celle ci, j'en est d'ailleurs une qui tourne en ce moment meme (Rutorrent) et c'est pas simple a mettre en place et l'interface n'est pas tres stable (Si il y a beaucoup de torrents ou une grosse charge la synchro ne se fait pas toujours).
Mais sinon en ligne de commande c'est le meilleur.

- Impossible de permettre de seeder tout le catalogue ! La technologie torrent a des limites...notamment de charge !
Dans mes tests les plus pousse, je n'ai pu avoir que 2500 - 3000 torrents en meme temps avec deluge torrent (Ensuite l'interface web en Ajax avait vraiment du mal et consommait beaucoup de ressources), pour rtorrent je pense que 5000 est le max possible et encore...

Bref, je ne connais pas en details le nombre d'albums, mais une premiere limite viendrai de la.
Ensuite, ce qui est possible, c'est de partir sur des flux RSS (Des clients torrents, comme deluge, gere cela. Mais dans les details je ne sais pas trop comment ca fonctionne)

- Pour generer des torrents, il faut faire par album/single, c'est la ou les gens utiliseront le plus torrent a mon avis.
Apres, si il y a des personnes qui veulent faire par label, pourquoi pas. Mais dans mon cas, si je veux tel album, je n'ai pas envie de telecharger tout le label.

Mais si il y a bien quelque chose d'important a faire, c'est d'assurer un minimum de seed.
Sur jamendo, le principal probleme vient de la. Tout est en place, les torrents ogg et mp3 sont generes automatiquement, mais il y a bien souvent aucune source ! (Il faut donc telecharger manuellement l'ablum, l'extraire et le mettre en seed...x des dizaines de millers d'albums.....)
Une tres bonne solution, serai d'avoir des webseed. Lors de la creation des torrents, il serait preferable de mettre leur serveur en webseed, ainsi il y aura toujours au moins une source et elle sera normalement rapide. Et le P2P prendra tout son envol a limiter la consommation de bande passante.

Bref, en esperant que ca aide et je serai ravi de participer a cela (Puisque je ne suis pas satisfait avec Jamendo)


PS: Je ne suis pas sur qu'une solution RSYNC soit ideal...Car difficile a relier tous les hosts ensemble et puis ca risque de grossir et grossir jusqu'a qu'il fait beaucoup de place. (Ainsi les serveur dedibox et co, ne feront plus l'affaire sauf si gros DD)

[Equilibre]

Bonjour,

Je vois que le sujet n'intéresse que peu de monde, c'est dommage, cela aurait aussi donné la possibilité de télécharger en BitTorrent en format OGG, car la majorité des artistes proposent en MP3, qui est un format breveté.

Est-ce que les administrateurs des serveurs pourraient nous informer un petit peu sur ce qui serait faisable ou non à ce propos ?

[Rico]

Hello,

tout d'abord merci pour vos propositions, c'est fort encourageant de voir que de bonnes volontés se manifestent dans la communauté. Et franchement, le projet en a toujours besoin !
Pour répondre à Equilibre, ce n'est pas que le sujet n'intéresse pas, mais à l'heure actuelle la priorité c'est le nettoyage du serveur, en préparation de la V3 du site.
J'ai envoyé un message à destination des admin système qui doivent être le nez dans le guidon, afin qu'ils vous expliquent plus précisément leur point de vue au plan technique, notamment la faisabilité de ce que vous proposez dans l'état actuel de nos infrastructures réseau.

Cordialement,

[dudumomo]

Merci Rico de ton retour.

[Equilibre]

Hello,

Merci Rico des précisions, j'avais vu quelque part qu'il y avait une nouvelle version, où peut-on la voir / tester ?

Au moins la proposition plaît, donc on met en attente, sinon il me reste encore un peu de javel et une brosse pour nettoyer le serveur...

[dudumomo]

Des nouvelles ?

Merci !

[__sam]

étant donné l'état actuel de l'infrastructure technique, ce n'est vraiment pas d'actualité
on va dire 'si tout se passe bien, on pourrait aborder ces sujet pour la présidentielle'

[dudumomo]

Hmm, avec les nouvelles offres d'OVH et leur Kimsuffi 2G a 15e HT incluant maintenant un disque dur 1To !! Je pense que ca peut aider a heberger toutes ces musiques.

[shangril]

Voici un petit script bash qui permet de télécharger l'intégrale de l'archive ; mais son intérêt est quasi nul, à moins de vouloir se constituer une grosse, grosse discothèque. Je vais tacher d'expliquer pourquoi plus bas.

Code : Tout sélectionner

#!/bin/bash

#Dogmatout (c) Shangri-l 2011

wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=1
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=2
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=4
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=5
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=8
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=10
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=11
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=12
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=13
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=14
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=15
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=16
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=17
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=19
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=20
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=22
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=23
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=100
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=101
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=102
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=103
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=104
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=105
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=106
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=107
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=108
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=109
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=110
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=111
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=112
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=113
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=114
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=115
wget -c http://www.dogmazic.net/radio/licenceM3u.php?f=ogg\&licence=116

for fl in *.php*
do
	wget -c -i $fl
done

rm *.php*

Instructions :

Si vous préférez des mp3, remplacez les f=ogg par des f=mp3 (pas testé)

Vous pouvez interrompre le script a tout moment, et le relancer plus tard. Il reprendra là où il s'est arrêté.

Si seulement certaines licences vous intéressent, il suffit de supprimer ou de commenter les lignes concernant les licences qui ne vous intéressent pas.

Il est possible de modifier le script pour travailler sur une sélection de genres plutôt que sur une sélection de licences - ceci est laissé comme exercice aux lecteurs/lectrices.

Maintenant, pourquoi ce script ne sert à rien :

Vous vous dites, chouette, je vais télécharger l'intégrale de l'archive et la seeder sur GNUnet ! (soit dit en passant, au fait, il y a des clients SoulSeek libres pour GNU/Linux, comme Nicotine)...

Théoriquement, c'est très possible, puisque Dogmazic indique toujours dans le champ ID3 commentaire le nom de la licence, suivi de l'url du projet sur Dogma ou l'on peut trouver l'url de la licence... Donc la condition 'vous devez communiquer au public les conditions de mise à disposition de l'œuvre' est respectée.

Mais dans les faits, les tags ne sont ajoutés qu'après un délai variable... Voire des fois ça buggue et ça n'arrive tout simplement jamais. Donc vous risquez de vous retrouver avec des fichiers sans les fameux tags... Et comme on ne peut pas décemment demander à tous les utilisateurs du site de toujours penser à tagguer eux même leurs morceaux - moi-même, des fois, j'oublie ou je me dis tant pis pour les infos de licence dans le champ commentaire... Dans la pratique les fichiers que ce script ramènera ne seront pas tous partageables tel quel.

Ensuite, bien sûr, il y a la question du droit de retrait : quid si un artiste veut le faire jouer et supprimer un de ses morceaux ? Théoriquement, on aurait plus le droit de le seeder... Et aussi, quid des artistes qui publient sur Dogma, et deux semaines plus tard suppriment parce qu'entre temps ils ont rejoint la SACEM ?

Mes compétences en bash sont bien trop insuffisantes pour que je puisse implémenter une sorte de suppression automatique des fichiers qui auraient depuis le dernier lancement du script disparu de l'archive... Si j'avais fait ça en Java ou en Mono, j'aurais pu, mais bon...

Si seulement l'API Json de Dogma était à jour au lieu de s'arrêter en juillet 2007, même avec mes faibles compétences en bash, je suis sûr qu'en cherchant un peu j'aurais pu trouver un moyen pour implémenter ce comportement dans un script... Mais, donc, l'API n'est pas à jour.

Si il y a des gens qui souhaitent que je ponde un équivalent de ce script, mais qui supprimerait automatiquement les fichiers qui ont disparu de l'archive, je peux peut-être me motiver à faire ça en Mono. Contactez-moi.

Mais dans tous les cas il restera toujours le problème des fichiers non taggués. Vous allez me dire, il suffit que ton programme taggue lui-même les fichiers... Ce qui pourrait effectivement être sympa... Mais ce serait dépendant de la plateforme, donc mon programme ne tournerait que sur Linux ou MacOS (en admettant que ID3lib soit installée) - je dit peut-être une grosse conn... bétise, je suis pas trop sûr de mon coup, peut-être qu'il est possible d'écrire un programme cross-platform qui taggue les fichiers, je ne sais pas, je n'ai pour ainsi dire jamais eu à appeler une bibliothèque depuis un programme que j'ai écrit.

En attendant, si vous voulez vous faire un petit miroir de l'intégrale de l'archive pour votre consommation personnelle, le script fourni ici pourra peut-être vous intéresser.

Mais je serai vous, j'attendrai 1D100 jours avant de lancer le script... Si tout le monde le lance ce soir, la consommation de bande passante mensuelle de Dogma va exploser... Et on aura l'exact contraire du but recherché.

Je vous conseillerais fortement, au minimum, de poster un petit message dans ce fil si vous envisagez de lancer ce script.

Ce que je conseillerai aussi, c'est de le lancer, disons, une demi-heure par jour jusqu'à avoir tout téléchargé. S'il implémente la reprise sur interruption ce n'est pas pour rien.

Bonne soirée

[Equilibre]

Intéressant tout cela, mais ce serait pas plus efficace avec Rsync ?

Je testerai prochainement, mais avec une sélection précise.