On clique, on attend 1,5 / 2 secondes, on est sur Dogmazic ! C'est magique ! Il fallait attendre de 16 à 30 secondes auparavant. T'es un génie @luciolebrillante !
@kidjazz Je confirme que tes mesures, j'ai à peu près la même chose avec les logs. Entre 1.5 et 2 s avant la réponse du serveur à la requête https. Avant la suppression, il fallait entre 3 et 4 s. Merci également
Concernant les améliorations, je dédie environ 5 heures par semaine à l'association depuis plusieurs semaines-mois. Pendant ces 5 heures, je me concentre sur des choses utiles pour faire avancer les choses. C'est le cumul de ces heures qui amènent ces retours, rien de plus.
J'espère que mon investissement donnera à d'autre l'envie de s'investir car le partage de la culture gratuitement est vraiment quelque chose de positif je pense. De nombreuses personnes ont mis de leur coeur et de leur histoire dans toutes ces musiques, j'espère qu'un jour elles seront mises-en-avant comme elles le méritent.
Hello tout le monde, Quelques nouvelles concernant la base de données :
J'ai supprimé les utilisateurs inactifs depuis janvier 2016 et qui n'ont pas uploadé de musique ni créé de label ni créé de musiques. J'ai également supprimé les préférences associés.
Ce qui nous donne : table user : passage de 49451 utilisateurs à 7952, soit une diminution de 84% de la taille de table. 7952 lignes restantes table user_préférence : passage de 4.353.877 lignes à 3.653.750 lignes, soit une diminution de 84% de la taille de la table. 700127 lignes restantes
edit : J'ai dû revenir en arrière car les préférences de l'application avait sauté Je vais investiguer sur le pourquoi du comment.
edit 2 : Je pense que j'ai trouvé. Il y a un utilisateur -1 qui a des préférences alors qu'il n'existe aucun utilisateur -1 dans la base de données. C'est logique n'est-ce pas ! J'ai supprimé les préférences des utilisateurs cités plus haut en excluant cet utilisateur. J'ai l'impression que cela a conservé les préférences de l'application ! Est-ce que vous pouvez me confirmer qu'il y a toujours les logos de dogmazic chez vous ?
Si les préférences sont effectivement conservées, on pourra dire que les les utilisateurs inactifs depuis janvier 2016 et qui n'ont pas uploadé de musique ni créé de label ni créé de musiques ainsi que leurs préférences associés ont bien été supprimé .
Je viens de corriger la fonction de recherche qui avait sauté avec le chargement différé de certains scripts javascript.
Merci pour vos retours concernant le site down, je reviens vers vous avec des nouvelles.
Pour expliquer un peu les raisons de l'indisponibilité, indisponibilité qui va probablement continuer. Ampache contient des scripts de purge de certaines données en cas d'absence de données. En supprimant les utilisateurs inactifs et en supprimants leurs préférences, les scripts ont détectés des incohérences au niveau des playlists (je comprends pas encore pourquoi) et on commencé à vouloir faire du ménage de données qui ne lui semble pas utiles.
C'est ce ménage automatique de l'application qui fait que le site est down. Pour simplifier, la base de données est tellement sollicitée pour nettoyer les playlist temporaires qu'elle est incapable de répondre aux requêtes classiques du site.
Je pense que l'absence des données supprimées a mis la table des playlists temporaires dans un état instable qu'elle essaye de réparer sans succès. Il faut que je regarde pourquoi l'application n'arrive pas à finir sa purge et intervenir pour qu'elle termine proprement sa tâche.
Edit: Bon, j'ai réussi à faire en sorte que l'application fonctionne à nouveau désactivant le mécanisme de purge des playlist qui bouclait à l'infini. Celui-ci purge les playlist temporaires et part dans une boucle infini depuis que j'ai supprimé les utilisateurs inactifs. Je regarderai comment faire pour le réactiver sans que cela bloque l'application.
- Mise à jour de PHP, passage de la version 7.0 à 7.4 via les paquets backportés de Debian. MAJ en vue de préparer la migration du serveur de Debian Stretch à Debian Buster. edit : retour en php7.0, la version d'ampache installée gère pas la 7.4 au niveau de l'authentification, je regarderai plus tard pourquoi.
De prime à bord, il ne semble pas y avoir d'effet de bord. Je vais attendre quelques semaines le temps de m'en assurer et de corriger le nettoyage de cache de la bdd et ensuite je migrerai vers Debian Buster.
Le surf se passe bien. L'ensemble des fonctionnalités sur les diverses adresses est opérationnel. Quand un truc cloche, on te sonne @luciolebrillante .
Merci encore de tes investissements. Il serait sympa qu'on puisse t'obtenir une rémunération pour tes services, ça se voit assez souvent que des assoces aient des salariés, et au moins tu aurais un coup de boost appréciable. @aisyk , @DECAY@explicite@Ladee@shangril , Vous en pensez quoi ? Même si c'est minime. On profite tous aisément de l'interface et des divers services de l'archive. Quitte à ce qu'on laisse chacun, à la manière d'un chapeau pour les concert, de petites participations via un paypal ou autre. (je sens que l'idée n'aura pas beaucoup de "suiveurs", mais je tente)
Désolé pour le délai de réponse, j'étais beaucoup occupé ^^
Ta proposition me touche @kidjazz, j'ai aussi pensé pendant un temps percevoir une rémunération sur le temps investie pour l'association. C'est même une sorte de projet de vie que j'ai de vivre de ma contribution au bien commun et que je réalise aujourd'hui.
Concernant la perception d'une rémunération pour le temps que je donne à l'association, j'ai le dilemn suivant.
En quoi est-ce que je suis plus méritant que d'autres qui contribue à l'association ?
Mes compétences en informatique permettent d'améliorer le site et je suis content que la différence soit perçue . Cependant, l'expertise musicale de Shangril a également beaucoup de valeurs ou bien encore l'expertiste juridique de Aisik ou le temps que donne olinuxx pour faire les éditos du mois ainsi que tous les autres qui contribuent à l'association. @aisyk à quand l'AG ?
Je pense que je suis aussi méritant que tous ceux qui s'impliquent dans l'association et j'ai dû percevoir de l'argent alors que les autres non.
Pour en revenir aux performances, les changements que j'ai fais dans Ampache pour Dogmazic ont été intégrés dans la version d'Ampache. Ce qui veut dire que l'on pourra basculer sur la dernière version lorsqu'elle sera publiée.
Maintenant que tu nous as mis le dilemme sous le nez... ...c'est bien moins évident.
Donc, un énorme MERCI pour user de certaines de tes compétences qu'on n'a pas. Investir une somme dans l'asso (même mini) semble être la solution. Elle profitera au moins à tousss et tousss-tes !
En faisant du ménage sur le serveur en vue de préparer les backuos pour Nomys, j'ai découvert un script écrit par le précédent administrateur système concernant la fragmentation des tables. Apparemment, les tables mysql peuvent se fragmenter et qu'il est nécessaire de les optimiser à intervalle régulier. Le script de l'ancien administrateur est bien écrit, il permet de lister ces tables et d'indiquer la commande à executer pour les optimiser.
Voila ce que nous avions : ## ampache.object_count is 71% fragmented. ## ampache.recommendation is 100% fragmented. ## ampache.session is 75% fragmented. ## ampache.session_remember is 58% fragmented. ## ampache.stream_playlist is 99% fragmented. ## ampache.tmp_browse is 99% fragmented. ## ampache.user is 52% fragmented. ## ampache.user_preference is 63% fragmented.
C'est désormais corrigé.
Information importante: Certains comptes ont été supprimés alors qu'ils avaient mis-en-ligne des musiques, je vais voir pour les restaurer. Les comptes artistes associés n'ont pas été impactés.
Réponses
C'est magique ! Il fallait attendre de 16 à 30 secondes auparavant.
T'es un génie @luciolebrillante !
Merci, c'est flatteur ^^
@aisyk
Merci
@kidjazz
Je confirme que tes mesures, j'ai à peu près la même chose avec les logs. Entre 1.5 et 2 s avant la réponse du serveur à la requête https. Avant la suppression, il fallait entre 3 et 4 s.
Merci également
Concernant les améliorations, je dédie environ 5 heures par semaine à l'association depuis plusieurs semaines-mois. Pendant ces 5 heures, je me concentre sur des choses utiles pour faire avancer les choses. C'est le cumul de ces heures qui amènent ces retours, rien de plus.
J'espère que mon investissement donnera à d'autre l'envie de s'investir car le partage de la culture gratuitement est vraiment quelque chose de positif je pense. De nombreuses personnes ont mis de leur coeur et de leur histoire dans toutes ces musiques, j'espère qu'un jour elles seront mises-en-avant comme elles le méritent.
Quelques nouvelles concernant la base de données :
J'ai supprimé les utilisateurs inactifs depuis janvier 2016 et qui n'ont pas uploadé de musique ni créé de label ni créé de musiques. J'ai également supprimé les préférences associés.
Ce qui nous donne :
table user : passage de 49451 utilisateurs à 7952, soit une diminution de 84% de la taille de table. 7952 lignes restantes
table user_préférence : passage de 4.353.877 lignes à 3.653.750 lignes, soit une diminution de 84% de la taille de la table. 700127 lignes restantes
C'est tout pour aujourd'hui, bonne journée à tous
J'ai dû revenir en arrière car les préférences de l'application avait sauté
edit 2 :
Je pense que j'ai trouvé. Il y a un utilisateur -1 qui a des préférences alors qu'il n'existe aucun utilisateur -1 dans la base de données. C'est logique n'est-ce pas ! J'ai supprimé les préférences des utilisateurs cités plus haut en excluant cet utilisateur. J'ai l'impression que cela a conservé les préférences de l'application ! Est-ce que vous pouvez me confirmer qu'il y a toujours les logos de dogmazic chez vous ?
Si les préférences sont effectivement conservées, on pourra dire que les les utilisateurs inactifs depuis janvier 2016 et qui n'ont pas uploadé de musique ni créé de label ni créé de musiques ainsi que leurs préférences associés ont bien été supprimé
Je viens de corriger la fonction de recherche qui avait sauté avec le chargement différé de certains scripts javascript.
ce qui est sûr, est que tu te creuses la tête.
Merci encore !
(les logos sont là)
Merci pour vos retours concernant le site down, je reviens vers vous avec des nouvelles.
Pour expliquer un peu les raisons de l'indisponibilité, indisponibilité qui va probablement continuer. Ampache contient des scripts de purge de certaines données en cas d'absence de données. En supprimant les utilisateurs inactifs et en supprimants leurs préférences, les scripts ont détectés des incohérences au niveau des playlists (je comprends pas encore pourquoi) et on commencé à vouloir faire du ménage de données qui ne lui semble pas utiles.
C'est ce ménage automatique de l'application qui fait que le site est down. Pour simplifier, la base de données est tellement sollicitée pour nettoyer les playlist temporaires qu'elle est incapable de répondre aux requêtes classiques du site.
Je pense que l'absence des données supprimées a mis la table des playlists temporaires dans un état instable qu'elle essaye de réparer sans succès. Il faut que je regarde pourquoi l'application n'arrive pas à finir sa purge et intervenir pour qu'elle termine proprement sa tâche.
Edit: Bon, j'ai réussi à faire en sorte que l'application fonctionne à nouveau désactivant le mécanisme de purge des playlist qui bouclait à l'infini. Celui-ci purge les playlist temporaires et part dans une boucle infini depuis que j'ai supprimé les utilisateurs inactifs. Je regarderai comment faire pour le réactiver sans que cela bloque l'application.
En attendant, l'application est up à nouveau.
edit : retour en php7.0, la version d'ampache installée gère pas la 7.4 au niveau de l'authentification, je regarderai plus tard pourquoi.
Cela devrait normalement accélérer le chargement du site sur certaines parties. Il est possible que cela ait des effets de bords, n'hésitez pas à les remonter en suivant les instructions de ce topic http://forum.musique-libre.org/discussion/8159/vous-rencontrez-un-probleme-avec-le-site-ou-autre#latest
De prime à bord, il ne semble pas y avoir d'effet de bord. Je vais attendre quelques semaines le temps de m'en assurer et de corriger le nettoyage de cache de la bdd et ensuite je migrerai vers Debian Buster.
L'ensemble des fonctionnalités sur les diverses adresses est opérationnel.
Quand un truc cloche, on te sonne @luciolebrillante .
Merci encore de tes investissements.
Il serait sympa qu'on puisse t'obtenir une rémunération pour tes services,
ça se voit assez souvent que des assoces aient des salariés,
et au moins tu aurais un coup de boost appréciable. @aisyk , @DECAY @explicite @Ladee @shangril ,
Vous en pensez quoi ? Même si c'est minime. On profite tous aisément de l'interface et des divers services de l'archive. Quitte à ce qu'on laisse chacun, à la manière d'un chapeau pour les concert, de petites participations via un paypal ou autre. (je sens que l'idée n'aura pas beaucoup de "suiveurs", mais je tente)
c'est marrant que tu parles de ça, @Trebmuh évoquait justement le sujet sur IRC il y a quelques semaines.
Désolé pour le délai de réponse, j'étais beaucoup occupé ^^
Ta proposition me touche @kidjazz, j'ai aussi pensé pendant un temps percevoir une rémunération sur le temps investie pour l'association. C'est même une sorte de projet de vie que j'ai de vivre de ma contribution au bien commun et que je réalise aujourd'hui.
Concernant la perception d'une rémunération pour le temps que je donne à l'association, j'ai le dilemn suivant.
En quoi est-ce que je suis plus méritant que d'autres qui contribue à l'association ?
Mes compétences en informatique permettent d'améliorer le site et je suis content que la différence soit perçue
Je pense que je suis aussi méritant que tous ceux qui s'impliquent dans l'association et j'ai dû percevoir de l'argent alors que les autres non.
Pour en revenir aux performances, les changements que j'ai fais dans Ampache pour Dogmazic ont été intégrés dans la version d'Ampache. Ce qui veut dire que l'on pourra basculer sur la dernière version lorsqu'elle sera publiée.
...c'est bien moins évident.
Donc, un énorme MERCI pour user de certaines de tes compétences qu'on n'a pas.
Investir une somme dans l'asso (même mini) semble être la solution.
Elle profitera au moins à tousss et tousss-tes !
En faisant du ménage sur le serveur en vue de préparer les backuos pour Nomys, j'ai découvert un script écrit par le précédent administrateur système concernant la fragmentation des tables. Apparemment, les tables mysql peuvent se fragmenter et qu'il est nécessaire de les optimiser à intervalle régulier. Le script de l'ancien administrateur est bien écrit, il permet de lister ces tables et d'indiquer la commande à executer pour les optimiser.
Voila ce que nous avions :
## ampache.object_count is 71% fragmented.
## ampache.recommendation is 100% fragmented.
## ampache.session is 75% fragmented.
## ampache.session_remember is 58% fragmented.
## ampache.stream_playlist is 99% fragmented.
## ampache.tmp_browse is 99% fragmented.
## ampache.user is 52% fragmented.
## ampache.user_preference is 63% fragmented.
C'est désormais corrigé.
Information importante: Certains comptes ont été supprimés alors qu'ils avaient mis-en-ligne des musiques, je vais voir pour les restaurer. Les comptes artistes associés n'ont pas été impactés.